如何自托管模型

您可以使用以下方式将模型部署到您的 AWS、GCP、Azure、Lambda 或 其他云中：

• HuggingFace TGI
• vLLM
• SkyPilot
• Anyscale 私有端点（OpenAI 兼容 API）
• Lambda

自托管开源模型

在许多情况下，Continue 会有内置的提供者，或者您使用的 API 是与 OpenAI 兼容的，在这种情况下，您可以使用 "openai" 提供者并更改 "baseUrl" 指向服务器。

但是，如果这两种情况都不是，您将需要连接一个新的 LLM 对象。

认证

使用 apiKey 字段可以对任何提供者进行基本认证

YAML

config.yaml

models:
  - name: Ollama
    provider: ollama
    model: llama2-7b
    apiKey: <YOUR_CUSTOM_OLLAMA_SERVER_API_KEY>

JSON

config.json

{
  "models": [
    {
      "title": "Ollama",
      "provider": "ollama",
      "model": "llama2-7b",
      "apiKey": "<YOUR_CUSTOM_OLLAMA_SERVER_API_KEY>"
    }
  ]
}

这会转换为请求头 "Authorization": "Bearer xxx"。

如果您需要发送自定义认证请求头，可以使用 requestOptions.headers 属性，例如 Ollama 的示例所示

YAML

config.yaml

models:
  - name: Ollama
    provider: ollama
    model: llama2-7b
    requestOptions:
      headers:
        X-Auth-Token: xxx

JSON

config.json

{
  "models": [
    {
      "title": "Ollama",
      "provider": "ollama",
      "model": "llama2-7b",
      "requestOptions": {
        "headers": {
          "X-Auth-Token": "xxx"
        }
      }
    }
  ]
}

同样，如果您的模型需要证书进行认证，可以使用 requestOptions.clientCertificate 属性，如下例所示

YAML

config.yaml

models:
  - name: Ollama
    provider: ollama
    model: llama2-7b
    requestOptions:
      clientCertificate:
        cert: C:\tempollama.pem
        key: C:\tempollama.key
        passphrase: c0nt!nu3

JSON

config.json

{
  "models": [
    {
      "title": "Ollama",
      "provider": "ollama",
      "model": "llama2-7b",
      "requestOptions": {
        "clientCertificate": {
          "cert": "C:\\tempollama.pem",
          "key": "C:\\tempollama.key",
          "passphrase": "c0nt!nu3"
        }
      }
    }
  ]
}