重排序角色

重排序模型角色

“重排序模型”（Reranking model）经过专门训练，可以接收两段文本（通常是用户的问题和文档），并返回一个 0 到 1 之间的相关性分数，以评估该文档在回答问题时的有用程度。重排序模型通常比 LLM 小得多，且相比之下速度极快且成本更低。
在 Continue 中，重排序器通过 rerank 角色指定，并由代码库感知功能使用，以便在向量搜索后筛选出最相关的代码片段。
如需查看包括开源和闭源选项在内的所有重排序模型的比较，请参阅我们的综合模型推荐。
如果您可以使用任何模型，我们推荐 Voyage AI 的 rerank-2，它与下文列出的其他重排序模型选项一起提供。

Voyage AI

Voyage AI 凭借其 rerank-2 模型提供了最适合代码的重排序模型。从此处获取 API 密钥后，您可以按如下方式配置重排序器：
name: My Config
version: 0.0.1
schema: v1

models:
  - uses: voyageai/rerank-2

Cohere

点击此处查看 Cohere 重排序器的文档。
name: My Config
version: 0.0.1
schema: v1

models:
  - name: Cohere Reranker
    provider: cohere
    model: rerank-english-v3.0
    apiKey: <YOUR_COHERE_API_KEY>
    roles:
      - rerank

LLM

如果您仅能访问单一 LLM，也可以将其用作重排序器。除非确实必要，否则不建议这样做，因为它不仅成本昂贵，而且在准确性上也不及上述专门针对此任务训练的模型。请注意，如果您使用的是本地模型（例如通过 Ollama），此方法将无法工作，因为需要进行过多的并行请求。
name: My Config
version: 0.0.1
schema: v1

models:
  - name: LLM Reranker
    provider: openai
    model: gpt-4o
    roles:
      - rerank

文本嵌入推理 (TEI)

Hugging Face Text Embeddings Inference 使您能够托管自己的重排序器端点。您可以按如下方式配置重排序器：
name: My Config
version: 0.0.1
schema: v1

models:
  - name: Huggingface-tei Reranker
    provider: huggingface-tei
    model: tei
    apiBase: http://:8080
    apiKey: <YOUR_TEI_API_KEY>
    roles:
      - rerank
嵌入角色配置