LM Studio

LM Studio 是一款适用于 Mac、Windows 和 Linux 的应用程序，可轻松在本地运行开源模型，并具有出色的用户界面。要开始使用 LM Studio，请从其网站下载，使用 UI 下载模型，然后启动本地推理服务器。之后可以将 Continue 配置为使用 LMStudio LLM 类

YAML

config.yaml

models:
  - name: LM Studio
    provider: lmstudio
    model: llama2-7b

JSON

config.json

{
  "models": [
    {
      "title": "LM Studio",
      "provider": "lmstudio",
      "model": "llama2-7b"
    }
  ]
}

嵌入模型

LM Studio 支持嵌入端点，并自带 nomic-ai/nomic-embed-text-v1.5-GGUF 模型（截至 2024 年 11 月，请检查您的模型）

YAML

config.yaml

models:
  - name: Nomic Embed Text
    provider: lmstudio
    model: nomic-ai/nomic-embed-text-v1.5-GGUF
    roles:
      - embed

JSON

config.json

{
  "embeddingsProvider": {
    "provider": "lmstudio",
    "model": "nomic-ai/nomic-embed-text-v1.5-GGUF"
  }
}

设置远程实例

要配置 LM Studio 的远程实例，请在 config.json 中为您模型添加 "apiBase" 属性

YAML

config.yaml

models:
  - name: Nomic Embed Text
    provider: lmstudio
    model: nomic-ai/nomic-embed-text-v1.5-GGUF
    roles:
      - embed

JSON

config.json

{
  "embeddingsProvider": {
    "provider": "lmstudio",
    "model": "nomic-ai/nomic-embed-text-v1.5-GGUF"
  }
}

现在将使用此 apiBase，而不是默认的 http://localhost:1234/v1。

查看源文件