聊天角色

聊天模型角色

“聊天模型”是指经过训练以对话形式进行响应的 LLM。由于它们需要能够回答常规问题并生成复杂的代码，因此最好的聊天模型通常规模较大，往往具有 405B 以上的参数。

在 Continue 中，这些模型用于正常的聊天。如果未分别指定 edit 或 apply 模型，所选的聊天模型也将用于编辑和应用功能。

模型作用	最佳开源模型	最佳闭源模型	备注
聊天编辑	Qwen3 Coder (480B) Qwen3 Coder (30B)	Claude Opus 4.1 Claude Sonnet 4.6 GPT-5 Gemini 2.5 Pro	闭源模型和开源模型性能相近

最佳综合体验

为了获得最佳的综合聊天体验，您需要使用 400B 以上参数的模型或前沿模型之一。

我们目前首选推荐来自 Anthropic 的 Claude Opus 4.6 和 Claude Sonnet 4。

如果您更倾向于使用开放权重的模型，那么来自 Google DeepMind 的 Gemma 系列模型是一个不错的选择。您需要决定是通过 SaaS 模型提供商（例如 Together）使用，还是自托管（例如使用 Ollama）。

如果您倾向于使用 OpenAI 的模型，我们推荐 GPT-5.1。

如果您倾向于使用 xAI 的模型，我们推荐 Grok-4。

如果您倾向于使用 Google 的模型，我们推荐 Gemini 3.1 Pro。

为了获得最佳的本地离线聊天体验，您需要使用一个规模较大但在您的机器上运行速度足够快的模型。

如果您的本地机器可以运行 8B 参数模型，我们建议您在本地运行 Llama 3.1 8B（例如使用 Ollama 或 LM Studio）。

如果您的本地机器可以运行 16B 参数模型，我们建议运行 DeepSeek Coder 2 16B（例如使用 Ollama 或 LM Studio）。

name: My Config
version: 0.0.1
schema: v1

models:
  - name: DeepSeek Coder 2 16B
    provider: ollama
    model: deepseek-coder-v2:16b

除了上述提到的模型和提供商外，还有许多模型和提供商可以与聊天功能配合使用。阅读更多信息请点击此处