NVIDIA

信息

查看文档，了解如何获取 API 密钥。

聊天模型

我们建议将 Nemotron-4-340B-Instruct 配置为您的聊天模型。

YAML

config.yaml

models:
  - name: Nemotron-4-340B-Instruct
    provider: nvidia
    model: nvidia-nemotron-4-340b-instruct
    apiKey: <YOUR_NVIDIA_API_KEY>

JSON

config.json

{
  "models": [
    {
      "title": "Nemotron-4-340B-Instruct",
      "provider": "nvidia",
      "model": "nvidia-nemotron-4-340b-instruct",
      "apiKey": "<YOUR_NVIDIA_API_KEY>"
    }
  ]
}

自动补全模型

NVIDIA 目前不提供任何自动补全模型。

点击此处查看自动补全模型提供商列表。

嵌入模型

我们建议将 NVIDIA Retrieval QA Mistral 7B 配置为您的嵌入模型。

YAML

config.yaml

models:
  - name: Nvidia Embedder
    provider: nvidia
    model: nvidia/nv-embedqa-mistral-7b-v2
    apiKey: <YOUR_NVIDIA_API_KEY>
    roles:
      - embed

JSON

config.json

{
  "embeddingsProvider": {
    "provider": "nvidia",
    "model": "nvidia/nv-embedqa-mistral-7b-v2",
    "apiKey": "<YOUR_NVIDIA_API_KEY>"
  }
}

重排序模型

NVIDIA 目前不提供任何重排序模型。

点击此处查看重排序模型提供商列表。