Vertex AI

信息

您需要启用 Vertex AI API 并设置 Google 应用默认凭据。

聊天模型

我们推荐将 Claude 3.5 Sonnet 配置为您的聊天模型。

YAML

config.yaml

models:
  - name: Claude 3.5 Sonnet
    provider: vertexai
    model: claude-3-5-sonnet-20240620
    env:
      projectId: <PROJECT_ID>
      region: us-east5

JSON

config.json

{
  "models": [
    {
      "title": "Claude 3.5 Sonnet",
      "provider": "vertexai",
      "model": "claude-3-5-sonnet-20240620",
      "projectId": "[PROJECT_ID]",
      "region": "us-east5"
    }
  ]
}

自动完成模型

我们推荐将 Codestral 或 code-gecko 配置为您的自动完成模型。

YAML

config.yaml

models:
  - name: Codestral (Vertex AI)
    provider: vertexai
    model: codestral
    roles:
      - autocomplete
    env:
      projectId: <PROJECT_ID>
      region: us-central1
      

JSON

config.json

{
  "tabAutocompleteModel": {
      "title": "Codestral (Vertex AI)",
      "provider": "vertexai",
      "model": "codestral",
      "projectId": "[PROJECT_ID]",
      "region": "us-central1"
  }
}

嵌入模型

我们推荐将 text-embedding-004 配置为您的嵌入模型。

YAML

config.yaml

models:
  - name: Text Embedding-004
    provider: vertexai
    model: text-embedding-004
    env:
      projectId: <PROJECT_ID>
      region: us-central1
    roles:
      - embed

JSON

config.json

{
  "embeddingsProvider": {
    "provider": "vertexai",
    "model": "text-embedding-004",
    "projectId": "[PROJECT_ID]",
    "region": "us-central1"
  }
}

重排序模型

Vertex AI 目前不提供任何重排序模型。

点击此处 查看重排序模型提供商列表。