Amazon SageMaker

配置 Amazon SageMaker 与 Continue 集成，以使用部署的 LLM 端点进行聊天和嵌入模型调用，支持通过 AWS 凭证进行 LMI 和 HuggingFace TEI 部署

SageMaker 可同时用于聊天和嵌入模型。聊天模型支持使用 LMI 部署的端点，嵌入模型支持使用 HuggingFace TEI 部署的端点

以下是一个 SageMaker 配置设置示例

name: My Config
version: 0.0.1
schema: v1

models:
  - name: deepseek-6.7b-instruct
    provider: sagemaker
    model: lmi-model-deepseek-coder-xxxxxxx
    region: us-west-2
    roles:
      - chat
  - name: mxbai-embed
    provider: sagemaker
    model: mxbai-embed-large-v1-endpoint
    roles:
      - embed

model 中的值应为您所部署的 SageMaker 端点名称。

认证将通过 ~/.aws/credentials 中名为 "sagemaker" 的配置文件内的临时或长期凭证进行。

[sagemaker]
aws_access_key_id = abcdefg
aws_secret_access_key = hijklmno
aws_session_token = pqrstuvwxyz # Optional: means short term creds.