在 Continue 中使用 Llama 3.1

Continue 使您能够轻松使用最新的开源模型进行编码，包括整个 Llama 3.1 模型系列。Llama 3.2 模型也受支持，但不建议用于聊天，因为它们专为小型或多模态设计。

如果您尚未安装 Continue，可以在此处下载 VS Code 版本或在此处下载 JetBrains 版本。有关自定义 Continue 的更多一般信息，请阅读我们的自定义文档。

下面我们分享一些最简单的上手方法，具体取决于您的用例。

Ollama

Ollama 是最快的方式来启动和运行本地语言模型。我们推荐尝试 Llama 3.1 8b，它以其大小而言令人印象深刻，并且在大多数硬件上都能良好运行。

1. 在此下载 Ollama（它会引导您完成后续步骤）
2. 打开终端并运行 ollama run llama3.1:8b
3. 像这样修改您的 Continue 配置文件

YAML

config.yaml

models:
  - name: Llama 3.1 8b
    provider: ollama
    model: llama3.1-8b

JSON

config.json

{
   "models": [
     {
       "title": "Llama 3.1 8b",
       "provider": "ollama",
       "model": "llama3.1-8b"
     }
   ]
 }

Groq

信息

请查阅模型文档，确认您选择的模型是否仍受支持。如果模型已被弃用，尝试使用时可能会遇到 404 错误。

Groq 为开源语言模型提供最快的可用推理，包括整个 Llama 3.1 系列。

1. 在此处获取 API 密钥
2. 像这样更新您的 Continue 配置文件

YAML

config.yaml

models:
  - name: Llama 3.3 70b Versatile
    provider: groq
    model: llama-3.3-70b-versatile
    apiKey: <YOUR_GROQ_API_KEY>

JSON

config.json

{
  "models": [
    {
      "title": "Llama 3.3 70b Versatile",
      "provider": "groq",
      "model": "llama-3.3-70b-versatile",
      "apiKey": "<YOUR_GROQ_API_KEY>"
    }
  ]
}

Together AI

Together AI 提供快速可靠的开源模型推理。您将能够以良好的速度运行 405b 模型。

1. 在此处创建帐户
2. 复制欢迎屏幕上显示的 API 密钥
3. 像这样更新您的 Continue 配置文件

YAML

config.yaml

models:
  - name: Llama 3.1 405b
    provider: together
    model: llama3.1-405b
    apiKey: <YOUR_TOGETHER_API_KEY>

JSON

config.json

{
   "models": [
     {
       "title": "Llama 3.1 405b",
       "provider": "together",
       "model": "llama3.1-405b",
       "apiKey": "<YOUR_TOGETHER_API_KEY>"
     }
   ]
}

Replicate

Replicate 使通过 API 托管和运行开源 AI 变得容易。

1. 在此处获取您的 Replicate API 密钥
2. 像这样修改您的 Continue 配置文件

YAML

config.yaml

models:
  - name: Llama 3.1 405b
    provider: replicate
    model: llama3.1-405b
    apiKey: <YOUR_REPLICATE_API_KEY>

JSON

config.json

{
   "models": [
     {
       "title": "Llama 3.1 405b",
       "provider": "replicate",
       "model": "llama3.1-405b",
       "apiKey": "<YOUR_REPLICATE_API_KEY>"
     }
   ]
}

SambaNova

SambaNova Cloud 提供世界纪录级别的 Llama3.1 70B/405B 服务。

1. 在此处创建帐户
2. 复制您的 API 密钥
3. 像这样更新您的 Continue 配置文件

YAML

config.yaml

models:
  - name: SambaNova Llama 3.1 405B
    provider: sambanova
    model: llama3.1-405b
    apiKey: <YOUR_SAMBA_API_KEY>

JSON

config.json

{
  "models": [
    {
      "title": "SambaNova Llama 3.1 405B",
      "provider": "sambanova",
      "model": "llama3.1-405b",
      "apiKey": "<YOUR_SAMBA_API_KEY>"
    }
  ]
}

Cerebras Inference

Cerebras Inference 使用专用芯片为 Llama3.1 8B/70B 提供快速推理。

1. 在此处在门户中创建帐户。
2. 创建并复制用于 Continue 的 API 密钥。
3. 更新您的 Continue 配置文件

YAML

config.yaml

models:
  - name: Cerebras Llama 3.1 70B
    provider: cerebras
    model: llama3.1-70b
    apiKey: <YOUR_CEREBRAS_API_KEY>

JSON

config.json

{
  "models": [
   {
      "title": "Cerebras Llama 3.1 70B",
      "provider": "cerebras",
      "model": "llama3.1-70b",
      "apiKey": "<YOUR_CEREBRAS_API_KEY>"
    }
  ]
}