让Codex同时调用Claude和国产模型，1M上下文丝滑切换，并且共享窗口上下文

让Codex同时调用Claude和国产模型，1M上下文丝滑切换示意图

最近在使用AI工具时，我常常遇到一个问题：如何在Codex中同时调用Claude和国产模型，并且实现1M上下文的丝滑切换？经过一番探索，我发现了一个开源项目——neko-route，它完美解决了这个问题，还能让不同模型之间共享窗口上下文。今天就来详细分享一下这个方案。

什么是neko-route？

neko-route是一个模型路由层，旨在扩展Codex的功能。它的核心作用是让我们在Codex中同时调用多个AI模型，包括Claude和国产模型（如文心一言、通义千问等），并且支持高达1百万 tokens的上下文窗口。这意味着你可以处理超长文本，同时在不同模型之间无缝切换，还能保留上下文信息。

主要功能亮点

1. 多模型同时调用：同时支持Claude和国产模型，灵活切换。
2. 1M上下文支持：处理超长文本，再也不用担心上下文截断。
3. 窗口上下文共享：不同模型之间可以共享上下文，提升连贯性。
4. 开源免费：完全开源，无隐藏部分，社区驱动。

为什么需要这么大的上下文？

在AI应用中，上下文窗口的大小直接影响到模型的理解能力和生成质量。比如：

• 代码分析：处理大型代码库时，需要更多的上下文来理解整体架构。
• 长文本生成：撰写长篇文章或报告时，需要保持前后连贯。
• 多轮对话：保持历史对话记录，避免重复输入信息。

1M的上下文窗口意味着你可以输入大约75万字的中文文本，这对大多数场景来说已经足够用了。

neko-route 部署配置实际操作界面

如何部署和配置neko-route？

1. 环境准备

首先，确保你的系统已经安装了以下依赖：

• Python 3.8+
• Docker（可选，但推荐）
• Git

2. 克隆项目

git clone https://github.com/zoefix/neko-route.git
cd neko-route

3. 安装依赖

pip install -r requirements.txt

4. 配置模型路由

在项目根目录下，找到config.yaml文件，按照以下格式配置你的模型信息：

models:
  - name: claude-3
    type: claude
    api_key: "your_claude_api_key"
  - name: qwen-7b
    type: domestic
    api_key: "your_domestic_model_api_key"
    base_url: "https://api.example.com/v1"

5. 启动服务

python main.py

或者使用Docker：

docker build -t neko-route .
docker run -p 8080:8080 neko-route

实际使用场景

场景1：代码生成与审查

你可以先用Claude生成代码，然后切换到国产模型进行审查，两者共享上下文，国产模型能理解Claude生成的代码逻辑，从而提供更精准的建议。

场景2：多语言翻译

先用Claude将一段英文翻译成中文，再用国产模型进行润色，确保翻译结果符合中文表达习惯。

场景3：长文本分析

上传一份几十万字的技术文档，让Claude先进行摘要，再用国产模型提取关键信息，最后由Claude生成报告。

常见问题与解决方案

Q1：如何切换模型？

A：在Codex的设置中选择“模型路由”，然后选择你想要的模型即可。切换过程中上下文会自动保留。

Q2：上下文共享会不会导致信息泄露？

A：neko-route支持本地部署，所有数据都在你的控制范围内，不会上传到第三方。

Q3：国产模型支持哪些？

A：目前支持主流国产模型，如文心一言、通义千问、智谱AI等。你可以通过配置文件添加更多模型。

总结

neko-route是一个非常实用的工具，它打破了不同AI模型之间的壁垒，让我们能够充分利用各个模型的优势。无论是处理超长文本，还是在多个模型之间灵活切换，它都能提供丝滑的体验。如果你也对AI工具有高要求，不妨试试这个方案，或许会打开新世界的大门。

希望这篇文章对你有帮助！如果在使用过程中遇到问题，欢迎在评论区交流。