如何自托管模型
了解如何部署和自托管开源语言模型（使用 HuggingFace TGI、vLLM、SkyPilot、Anyscale Private Endpoints 或 Lambda），以便在 Continue 中使用
- HuggingFace TGI
- vLLM
- SkyPilot
- Anyscale 私有终端（兼容 OpenAI API）
- Lambda
如何自托管开源模型
在许多情况下，Continue 会内置相应的提供程序，或者您使用的 API 是 OpenAI 兼容的。如果是后者，您可以使用 "openai" 提供程序并将 "baseUrl" 指向您的服务器。
但是，如果以上情况都不适用，您将需要连接一个新的 LLM 对象。
如何设置身份验证
任何提供程序都可以通过
apiKey 字段进行基本身份验证- YAML
- JSON
config.yaml
models:
- name: Ollama
provider: ollama
model: llama2-7b
apiKey: <YOUR_CUSTOM_OLLAMA_SERVER_API_KEY>
config.json
{
"models": [
{
"title": "Ollama",
"provider": "ollama",
"model": "llama2-7b",
"apiKey": "<YOUR_CUSTOM_OLLAMA_SERVER_API_KEY>"
}
]
}
这会转化为请求头
"Authorization": "Bearer xxx"。如果您需要发送自定义身份验证头，可以使用
requestOptions.headers 属性，参考此 Ollama 的示例- YAML
- JSON
config.yaml
models:
- name: Ollama
provider: ollama
model: llama2-7b
requestOptions:
headers:
X-Auth-Token: xxx
config.json
{
"models": [
{
"title": "Ollama",
"provider": "ollama",
"model": "llama2-7b",
"requestOptions": { "headers": { "X-Auth-Token": "xxx" } }
}
]
}
同样，如果您的模型需要证书进行身份验证，可以使用
requestOptions.clientCertificate 属性，如下例所示- YAML
- JSON
config.yaml
models:
- name: Ollama
provider: ollama
model: llama2-7b
requestOptions:
clientCertificate:
cert: C:\tempollama.pem
key: C:\tempollama.key
passphrase: c0nt!nu3
config.json
{
"models": [
{
"title": "Ollama",
"provider": "ollama",
"model": "llama2-7b",
"requestOptions": {
"clientCertificate": {
"cert": "C:\\tempollama.pem",
"key": "C:\\tempollama.key",
"passphrase": "c0nt!nu3"
}
}
}
]
}