OVHcloud AI Endpoints

OVHcloud AI Endpoints 是一个无服务器推理 API，提供对精选模型（例如 Llama, Mistral, Qwen, Deepseek）的访问。它在设计时考虑了安全和数据隐私，并符合 GDPR 规定。

信息

要开始使用，请在 OVHcloud AI Endpoints 网站上创建 API 密钥。如需更多信息，包括定价，请访问 OVHcloud AI Endpoints 产品页面。

对话模型

我们建议将 Qwen2.5-Coder-32B-Instruct 配置为您的对话模型。请查看我们的目录，了解 AI Endpoints 上托管的所有模型。

YAML

config.yaml

models:
  - name: Qwen2.5-Coder-32B-Instruct
    provider: ovhcloud
    model: qwen2.5-coder-32b
    apiKey: <YOUR_AIENDPOINTS_API_KEY>

JSON

config.json

{
  "models": [
    {
      "title": "Qwen2.5-Coder-32B-Instruct",
      "provider": "ovhcloud",
      "model": "qwen2.5-coder-32b",
      "apiKey": "<YOUR_AIENDPOINTS_API_KEY>"
    }
  ]
}

嵌入模型

我们建议将 bge-multilingual-gemma2 配置为您的嵌入模型。

YAML

config.yaml

models:
  - name: BGE Multilingual Gemma2
    provider: ovhcloud
    model: bge-multilingual-gemma2
    apiKey: <YOUR_AIENDPOINTS_API_KEY>
    roles: 
      - embed

JSON

config.json

{
  "embeddingsProvider": {
    "provider": "ovhcloud",
    "model": "bge-multilingual-gemma2",
    "apiKey": "<YOUR_AIENDPOINTS_API_KEY>"
  }
}