IPEX-LLM

信息

IPEX-LLM 是一个 PyTorch 库，用于在 Intel CPU 和 GPU (例如，带有 iGPU 的本地 PC，以及 Arc A 系列、Flex 和 Max 等独立显卡) 上运行 LLM，具有非常低的延迟。

IPEX-LLM 支持加速的 Ollama 后端，可在 Intel GPU 上托管。请参考 IPEX-LLM 官方文档中的这篇指南，了解如何在 Intel GPU 上安装和运行由 IPEX-LLM 加速的 Ollama 服务。然后，您可以配置 Continue，使用 IPEX-LLM 加速的 "ollama" 提供商，如下所示

YAML
JSON

config.yaml
models:
  - name: IPEX-LLM
    provider: ollama
    model: AUTODETECT

config.json
{
  "models": [
    {
      "title": "IPEX-LLM",
      "provider": "ollama",
      "model": "AUTODETECT"
    }
  ]
}

如果您想从另一台机器访问 Ollama 服务，确保在执行命令 ollama serve 之前设置或导出环境变量 OLLAMA_HOST=0.0.0.0。然后，在 Continue 的配置中，将 'apiBase' 设置为与远程机器的 IP 地址/端口对应。也就是说，Continue 可以配置为

YAML
JSON

config.yaml
models:
  - name: IPEX-LLM
    provider: ollama
    model: AUTODETECT
    apiBase: http://your-ollama-service-ip:11434

config.json
{
  "models": [
    {
      "title": "IPEX-LLM",
      "provider": "ollama",
      "model": "AUTODETECT",
      "apiBase": "http://your-ollama-service-ip:11434"
    }
  ]
}

提示

如果您想在 Continue 中首次与某个模型对话之前预加载该模型，您可以参考这里了解更多信息。