Hugging Face
Hugging Face 是共享开源 AI 模型的主要平台。它通过两种方式提供推理服务:推理提供商 (Inference Providers) 和 推理端点 (Inference Endpoints)。
推理提供商 (Inference Providers)
推理提供商是一项无服务器服务,由外部推理供应商提供支持,通过 Hugging Face 进行路由,并按 token 付费。
您可以从 Hugging Face 获取访问令牌,并在 设置中 对您的提供商进行优先级排序。
name: My Config
version: 0.0.1
schema: v1
models:
- name: deepseek
provider: huggingface-inference-providers
model: deepseek-ai/DeepSeek-V3.2-Exp
apiKey: <YOUR_HF_TOKEN>
apiBase: https://router.huggingface.co/v1
推理端点 (Inference Endpoints)
推理端点是一项专用服务,允许您在专用硬件上运行开源模型。这是从 Hugging Face 模型获取推理的一种更高级的方式,您可以在整个过程中拥有更大的控制权。
在使用推理端点之前,您需要创建一个端点。您可以访问 推理端点 并点击“创建端点”来完成此操作。
name: My Config
version: 0.0.1
schema: v1
models:
- name: deepseek
provider: huggingface-inference-endpoints
model: <ENDPOINT_ID>
apiKey: <YOUR_HF_TOKEN>
apiBase: https://<YOUR_ENDPOINT_ID>.aws.endpoints.huggingface.cloud