聊天角色

"聊天模型"是一种经过训练以对话形式响应的LLM。因为它们应该能够回答一般问题并生成复杂的代码，所以最佳聊天模型通常很大，通常具有405B+参数。

在 Continue 中，这些模型用于正常的聊天和VS Code 操作。如果没有分别指定edit或apply模型，则选择的聊天模型也将用于编辑和应用。

推荐的聊天模型

最佳整体体验

为了获得最佳的整体聊天体验，您将需要使用一个400B+参数的模型或其中一个前沿模型。

Anthropic 的 Claude Sonnet 3.7

我们目前的首要推荐是来自Anthropic的 Claude 3.7 Sonnet。

中心

在中心查看Claude 3.7 Sonnet 模型块。

YAML

config.yaml

models:
  - name: Claude 3.7 Sonnet
    provider: anthropic
    model: claude-3-7-sonnet-latest
    apiKey: <YOUR_ANTHROPIC_API_KEY>

JSON

config.json

{
  "models": [
    {
      "title": "Claude 3.5 Sonnet",
      "provider": "anthropic",
      "model": "claude-3-5-sonnet-latest",
      "apiKey": "<YOUR_ANTHROPIC_API_KEY>"
    }
  ]
}

Google DeepMind 的 Gemma

如果您倾向于使用开源权重模型，那么 Google DeepMind 的 Gemma 系列模型是一个不错的选择。您需要决定是使用 SaaS 模型提供商（例如 Together）来使用它，还是自行托管（例如 Ollama）。

中心

Ollama

从中心添加Ollama Gemma 3 27B 块

Together

从中心添加Together Gemma 2 27B 指令块

YAML

Ollama

config.yaml

models:
  - name: "Gemma 3 27B"
    provider: "ollama"
    model: "gemma3:27b"

Together

config.yaml

models:
  - name: "Gemma 3 27B"
    provider: "together"
    model: "google/gemma-2-27b-it"
    apiKey: <YOUR_TOGETHER_API_KEY>

JSON

Ollama

config.json

{
  "models": [
    {
      "title": "Gemma 3 27B",
      "provider": "ollama",
      "model": "gemma3:27b"
    }
  ]
}

Together

config.json

{
  "models": [
    {
      "title": "Gemma 3 27B",
      "provider": "together",
      "model": "google/gemma-2-27b-it",
      "apiKey": "<YOUR_TOGETHER_API_KEY>"
    }
  ]
}

OpenAI 的 GPT-4o

如果您倾向于使用来自OpenAI的模型，那么我们推荐 GPT-4o。

中心

从中心添加OpenAI GPT-4o 块

YAML

config.yaml

models:
  - name: GPT-4o
    provider: openai
    model: ''
    apiKey: <YOUR_OPENAI_API_KEY>

JSON

config.json

{
  "models": [
    {
      "title": "GPT-4o",
      "provider": "openai",
      "model": "",
      "apiKey": "<YOUR_OPENAI_API_KEY>"
    }
  ]
}

xAI 的 Grok-2

如果您倾向于使用来自xAI的模型，那么我们推荐 Grok-2。

中心

从中心添加xAI Grok-2 块

YAML

config.yaml

models:
  - name: Grok-2
    provider: xAI
    model: grok-2-latest
    apiKey: <YOUR_XAI_API_KEY>

JSON

config.json

{
  "models": [
    {
      "title": "Grok-2",
      "provider": "xAI",
      "model": "grok-2-latest",
      "apiKey": "<YOUR_XAI_API_KEY>"
    }
  ]
}

Google 的 Gemini 2.0 Flash

如果您倾向于使用来自Google的模型，那么我们推荐 Gemini 2.0 Flash。

中心

从中心添加Gemini 2.0 Flash 块

YAML

config.yaml

models:
  - name: Gemini 2.0 Flash
    provider: gemini
    model: gemini-2.0-flash
    apiKey: <YOUR_GEMINI_API_KEY>

JSON

config.json

{
  "models": [
    {
      "title": "Gemini 2.0 Flash",
      "provider": "gemini",
      "model": "gemini-2.0-flash",
      "apiKey": "<YOUR_GEMINI_API_KEY>"
    }
  ]
}

本地离线体验

为了获得最佳的本地离线聊天体验，您将需要使用一个在您的机器上足够大且速度够快的模型。

Llama 3.1 8B

如果您的本地机器可以运行一个8B参数模型，那么我们推荐在您的机器上运行 Llama 3.1 8B（例如使用Ollama或LM Studio）。

中心

Ollama

从中心添加Ollama Llama 3.1 8b 块

YAML

Ollama

config.yaml

models:
  - name: Llama 3.1 8B
    provider: ollama
    model: llama3.1:8b

LM Studio

config.yaml

models:
  - name: Llama 3.1 8B
    provider: lmstudio
    model: llama3.1:8b

Msty

config.yaml

models:
  - name: Llama 3.1 8B
    provider: msty
    model: llama3.1:8b

JSON

Ollama

config.json

{
  "models": [
    {
      "title": "Llama 3.1 8B",
      "provider": "ollama",
      "model": "llama3.1:8b"
    }
  ]
}

LM Studio

config.json

{
  "models": [
    {
      "title": "Llama 3.1 8B",
      "provider": "lmstudio",
      "model": "llama3.1-8b"
    }
  ]
}

Msty

config.json

{
  "models": [
    {
      "title": "Llama 3.1 8B",
      "provider": "msty",
      "model": "llama3.1-8b"
    }
  ]
}

DeepSeek Coder 2 16B

如果您的本地机器可以运行一个16B参数模型，那么我们推荐运行 DeepSeek Coder 2 16B（例如使用Ollama或LM Studio）。

YAML

Ollama

config.yaml

models:
  - name: DeepSeek Coder 2 16B
    provider: ollama
    model: deepseek-coder-v2:16b

LM Studio

config.yaml

models:
  - name: DeepSeek Coder 2 16B
    provider: lmstudio
    model: deepseek-coder-v2:16b

Msty

config.yaml

models:
  - name: DeepSeek Coder 2 16B
    provider: msty
    model: deepseek-coder-v2:16b

JSON

Ollama

config.json

{
  "models": [
    {
      "title": "DeepSeek Coder 2 16B",
      "provider": "ollama",
      "model": "deepseek-coder-v2:16b",
      "apiBase": "http://localhost:11434"
    }
  ]
}

LM Studio

config.json

{
  "models": [
    {
      "title": "DeepSeek Coder 2 16B",
      "provider": "lmstudio",
      "model": "deepseek-coder-v2:16b"
    }
  ]
}

Msty

config.json

{
  "models": [
    {
      "title": "DeepSeek Coder 2 16B",
      "provider": "msty",
      "model": "deepseek-coder-v2:16b"
    }
  ]
}

其他体验

除了上面提到的之外，您还可以使用许多其他模型和提供商来进行聊天。在此阅读更多信息这里