Ollama

Ollama 是一个开源工具，允许用户在自己的计算机上本地运行大型语言模型 (LLM)。要使用 Ollama，您可以在此处安装它，并使用 ollama run 命令下载您想要运行的模型。

聊天模型

我们建议将 Llama3.1 8B 配置为您的聊天模型。

YAML

config.yaml

models:
  - name: Llama3.1 8B
    provider: ollama
    model: llama3.1:8b

JSON

config.json

{
  "models": [
    {
      "title": "Llama3.1 8B",
      "provider": "ollama",
      "model": "llama3.1:8b"
    }
  ]
}

自动完成模型

我们建议将 Qwen2.5-Coder 1.5B 配置为您的自动完成模型。

YAML

config.yaml

models:
  - name: Qwen2.5-Coder 1.5B
    provider: ollama
    model: qwen2.5-coder:1.5b-base
    roles:
      - autocomplete

JSON

config.json

{
  "tabAutocompleteModel": {
    "title": "Qwen2.5-Coder 1.5B",
    "provider": "ollama",
    "model": "qwen2.5-coder:1.5b-base"
  }
}

嵌入模型

我们建议将 Nomic Embed Text 配置为您的嵌入模型。

YAML

config.yaml

models:
  - name: Nomic Embed Text
    provider: ollama
    model: nomic-embed-text
    roles:
      - embed

JSON

config.json

{
  "embeddingsProvider": {
    "provider": "ollama",
    "model": "nomic-embed-text"
  }
}

重排序模型

Ollama 目前不提供任何重排序模型。

点击此处查看重排序模型提供者列表。

使用远程实例

要配置 Ollama 的远程实例，请在 config.json 中模型的属性中添加 "apiBase"

YAML

config.yaml

models:
  - name: Llama3.1 8B
    provider: ollama
    model: llama3.1:8b
    apiBase: http://<my endpoint>:11434

JSON

config.json

{
  "models": [
    {
      "title": "Llama3.1 8B",
      "provider": "ollama",
      "model": "llama3.1:8b",
      "apiBase": "http://<my endpoint>:11434"
    }
  ]
}