API 服务器#

内置 API 服务器使您能够在您自己的机器上本地运行开源大型语言模型 (LLM)。它有助于通过 API 调用与您的模型进行直接交互，从而为测试和部署模型提供了强大的工具，而无需外部云服务。通过在本地托管您自己的 API 服务器，您可以完全控制模型的行为，并维护数据的隐私和安全。

了解 API 服务器#

API 服务器是 Anaconda AI Navigator 的核心组件，使您能够通过 API 调用与本地下载的 LLM 进行交互。

提示

将鼠标悬停在工具提示上以查看有关 API 服务器可配置参数的信息。

服务器地址#

您的本地服务器地址，通常称为 localhost 或 127.0.0.1，是 API 服务器的默认地址。它是一个环回地址，意味着发送到此地址的任何网络通信都将保留在同一台机器内，从而确保您的数据安全和私密。这在开发应用程序时很常见。

如果您在办公室网络中工作，并希望使您的服务器可供同一网络内的其他设备访问，您可以将服务器地址设置为您机器的本地 IP 地址。这些通常是专用网络，意味着它们在公共互联网上不可路由。

将服务器地址设置为 0.0.0.0 会将其配置为接受所有网络接口上的连接。如果您的网络配置为允许外部连接并将来自外部来源的流量路由到您的服务器，这可能会将您的服务器暴露于公共互联网。

服务器端口#

服务器端口告诉内置 API 服务器在哪里监听传入流量（即在哪里监听和接收 API 请求）。

有关更多信息，请参阅 Cloudflare 关于端口的文章。

API 密钥#

建立一个 API 密钥，该密钥必须作为 Authentication: Bearer 令牌在发送到您的服务器的请求标头中传递。

测试您的 API 密钥

要测试 API 密钥

  1. 选择 左侧导航栏中的 API 服务器。

  2. 在 AI Navigator 中输入您的 API 密钥。

  3. 将模型加载到 API 服务器.

    注意

    您必须使用 text-generation 类型模型。

  4. 打开 Anaconda Prompt（macOS/Linux 上的终端）并运行以下命令

    # Replace <API_KEY> with the value you entered into AI Navigator
curl --request POST ^
     --url http://localhost:8080/completion ^
     --header 'Authorization: Bearer <API_KEY>' ^
     --header "Content-Type: application/json" ^
     --data '{
         "prompt": "Hello, how are you?"
     }'

    # Replace <API_KEY> with the value you entered into AI Navigator
curl --request POST `
     --url http://localhost:8080/completion `
     --header 'Authorization: Bearer <API_KEY>' `
     --header "Content-Type: application/json" `
     --data '{
         "prompt": "Hello, how are you?"
     }'

    # Replace <API_KEY> with the value you entered into AI Navigator
curl --request POST \
     --url http://localhost:8080/completion \
     --header 'Authorization: Bearer <API_KEY>' \
     --header "Content-Type: application/json" \
     --data '{
         "prompt": "Hello, how are you?"
     }'

此命令将访问本地 API 服务器的 /completion 端点，以与您加载的模型进行交互。如果您收到响应，则表示您的 API 密钥正在工作。如果您收到 401 错误，请仔细检查您的命令并重试。

查看 API 服务器日志#

要查看服务器日志

  1. 打开 Anaconda AI Navigator。

  2. 选择 左侧导航栏中的 API 服务器。

服务器日志提供以下指标的信息

  • 系统信息 - 提供有关您系统硬件功能的信息。

  • 构建信息 - 提供有关您正在使用的 API 服务器版本的信息。

  • 聊天模板 - 显示为系统定义的消息传递序列。

  • 服务器监听 - 显示正在监听的服务器地址和端口号。

  • 插槽信息 - 显示服务器的可用插槽数。每个插槽一次能够管理一个用户 API 请求。

  • 任务信息 - 显示诸如处理和响应请求所花费的时间、请求任务 ID 以及哪个插槽完成了任务等信息。

API 服务器记录当前正在运行的服务器的所有传入流量，并在服务器日志中显示相关信息。

一旦服务器停止，日志将保存到 ~/Library/Logs/ai-navigator，文件名带有时间戳（例如 <YYYY><MM><DD><HH><MM><SS>_api-server.log），因此您可以在必要时高效地找到特定的服务器日志。

在本页中