Amazon Bedrock

Amazon Bedrock 是 AWS 上的一项完全托管服务，通过单个 API 提供对来自各种人工智能公司的基础模型的访问。

聊天模型

我们建议将 Claude 3.5 Sonnet 配置为您的聊天模型。

YAML

config.yaml

models:
  - name: Claude 3.5 Sonnet
    provider: bedrock
    model: anthropic.claude-3-5-sonnet-20240620-v1:0
    env:
      region: us-east-1
      profile: bedrock
    roles:
      - chat

JSON

config.json

{
  "models": [
    {
      "title": "Claude 3.5 Sonnet", 
      "provider": "bedrock",
      "model": "anthropic.claude-3-5-sonnet-20240620-v1:0",
      "region": "us-east-1",
      "profile": "bedrock"
    }
  ]
}

如果您在连接到 AWS 的新 Claude 3.5 Sonnet 2 模型时遇到以下错误 - 400 Invocation of model ID anthropic.claude-3-5-sonnet-20241022-v2:0 with on-demand throughput isn't supported. Retry your request with the ID or ARN of an inference profile that contains this model.

您可以使用以下配置修复此问题

YAML

config.yaml

models:
  - name: Claude 3.5 Sonnet
    provider: bedrock
    model: us.anthropic.claude-3-5-sonnet-20241022-v2:0
    env:
      region: us-east-1
      profile: bedrock
    roles:
      - chat

JSON

config.json

{
  "models": [
    {
      "title": "Claude 3.5 Sonnet",
      "provider": "bedrock",
      "model": "us.anthropic.claude-3-5-sonnet-20241022-v2:0",
      "region": "us-east-1",
      "profile": "bedrock"
    }
  ]
}

自动补全模型

Bedrock 目前不提供任何自动补全模型。但是，来自 Mistral 的 Codestral 和 来自 Poolside 的 Point 将在不久的将来得到支持。

在此期间，您可以在此处查看自动补全模型提供商列表。

嵌入模型

我们建议将 amazon.titan-embed-text-v2:0 配置为您的嵌入模型。

YAML

config.yaml

models:
  - name: Embeddings Model
    provider: bedrock
    model: amazon.titan-embed-text-v2:0
    env:
      region: us-west-2
    roles:
      - embed

JSON

config.json

{
  "embeddingsProvider": {
    "title": "Embeddings Model",
    "provider": "bedrock",
    "model": "amazon.titan-embed-text-v2:0",
    "region": "us-west-2"
  }
}

重排序模型

我们建议将 cohere.rerank-v3-5:0 配置为您的重排序模型，您也可以使用 amazon.rerank-v1:0。

YAML

config.yaml

models:
  - name: Bedrock Reranker
    provider: bedrock
    model: cohere.rerank-v3-5:0
    env:
      region: us-west-2
    roles:
      - rerank

JSON

config.json

{
  "reranker": {
    "name": "bedrock",
    "params": {
      "model": "cohere.rerank-v3-5:0",
      "region": "us-west-2"
    }
  }
}

身份验证

身份验证将通过配置的配置文件（例如 "bedrock"）下的 ~/.aws/credentials 中的临时或长期凭证进行。

[bedrock]
aws_access_key_id = abcdefg
aws_secret_access_key = hijklmno
aws_session_token = pqrstuvwxyz # Optional: means short term creds.

自定义导入模型

要使用自定义导入模型设置 Bedrock，请将以下内容添加到您的配置文件中

YAML

config.yaml

models:
  - name: AWS Bedrock deepseek-coder-6.7b-instruct
    provider: bedrockimport
    model: deepseek-coder-6.7b-instruct
    modelArn: arn:aws:bedrock:us-west-2:XXXXX:imported-model/XXXXXX
    region: us-west-2
    profile: bedrock

JSON

config.json

{
  "models": [
    {
      "title": "AWS Bedrock deepseek-coder-6.7b-instruct",
      "provider": "bedrockimport",
      "model": "deepseek-coder-6.7b-instruct",
      "modelArn": "arn:aws:bedrock:us-west-2:XXXXX:imported-model/XXXXXX", 
      "region": "us-west-2",
      "profile": "bedrock"
    }
  ]
}

身份验证将通过配置的配置文件（例如 "bedrock"）下的 ~/.aws/credentials 中的临时或长期凭证进行。

[bedrock]
aws_access_key_id = abcdefg
aws_secret_access_key = hijklmno
aws_session_token = pqrstuvwxyz # Optional: means short term creds.