Msty

Msty 是一款适用于 Windows、Mac 和 Linux 的应用程序，它可以非常轻松地运行在线以及本地的开源模型，包括 Llama-2、DeepSeek Coder 等。无需操作终端、运行命令或做任何事情。只需从网站下载应用程序，点击一个按钮，即可开始运行。然后可以将 Continue 配置为使用 Msty LLM 类

YAML

config.yaml

models:
  - name: Msty
    provider: msty
    model: deepseek-coder:6.7b

JSON

config.json

{
  "models": [
    {
      "title": "Msty",
      "provider": "msty",
      "model": "deepseek-coder:6.7b",
    }
  ]
}

补全选项

除了模型类型之外，您还可以配置 Msty 用于运行模型的一些参数。

• temperature: options.temperature - 这是一个控制生成文本随机性的参数。值越高，结果越富有创意但可能连贯性较差；值越低，结果越可预测和集中。
• top_p: options.topP - 这设置了一个阈值（介于 0 和 1 之间），用于控制预测 token 的多样性。模型根据其概率分布生成最有可能的 token，但也会考虑概率最高的 k 个 token。
• top_k: options.topK - 此参数限制在生成序列中的下一个 token 时要考虑的唯一 token 的数量。值越高，生成的序列多样性越高；值越低，输出越集中。
• num_predict: options.maxTokens - 这决定了为给定的输入提示生成的最大 token 数量（单词或字符）。
• num_thread: options.numThreads - 这是控制模型用于并行处理的线程数量的多线程配置选项。值越高可能会导致更快的生成时间，但也可能增加内存使用和复杂性。在本地运行模型时，将其设置为比 CPU 可处理的线程数少一或两个，以便为 GUI 留下一些资源。
• use_mmap: options.useMmap - 对于 Ollama，此参数允许将模型映射到内存中。如果禁用，可以在低端设备上提高响应时间，但会减慢流式输出。

认证

如果您需要发送自定义请求头进行认证，可以使用 requestOptions.headers 属性，如下所示

YAML

config.yaml

models:
  - name: Msty
    provider: msty
    model: deepseek-coder:6.7b
    requestOptions:
      headers:
        Authorization: Bearer xxx

JSON

config.json

{
  "models": [
    {
      "title": "Msty",
      "provider": "msty",
      "model": "deepseek-coder:6.7b",
      "requestOptions": {
        "headers": {
          "Authorization": "Bearer xxx"
        }
      }
    }
  ]
}

查看源代码