Chat#

Anaconda AI Navigator 的 Chat 功能使用户能够与本地下载的模型进行交互。聊天界面主要旨在为您提供一个空间,以评估不同模型如何处理特定任务和场景。如果您使用的模型对您的测试提示没有做出有用的响应,请尝试其他模型。一旦您在特定模型上看到一些成功,您可以将其加载到 API 服务器中,并针对它测试您自己的应用程序,以查看该模型如何处理用户的输入。

加载模型#

将您下载的模型加载到聊天界面中以与之交互。要加载模型

  1. 选择 从左侧导航栏中选择 Chat

  2. 打开 指定模型 下拉菜单并选择您的模型。

  3. 打开 指定文件 下拉菜单并选择您的模型文件。

    注意

    • 如果您只有一个模型文件,它将自动加载到聊天界面中。

    • 您可以在聊天期间随时切换您已下载的模型。

开始新的聊天#

所有聊天最初都创建为 New Chat <#>,但会根据您对模型的初始提示进行主题重命名。

要开始新的聊天

  1. Chat 页面,单击 New Chat

  2. 如有必要,将模型加载到聊天界面

  3. 输入提示以与模型聊天。

停止响应#

有时,模型可能会开始生成冗长且偏离主题的提示响应。要阻止模型生成响应,请单击提示字段中的 停止

重命名聊天#

您可以随时为聊天提供特定名称。要重命名聊天

  1. 从 Chat 页面,打开聊天的 操作下拉菜单并选择 重命名.

  2. 输入聊天的名称。

    注意

    超过 27 个字符的聊天名称将被截断。

删除聊天#

要删除聊天

  1. Chat 页面,打开聊天的 操作下拉菜单并选择 删除.

  2. 单击 删除聊天

聊天设置#

聊天设置允许您微调模型在用户交互期间的响应方式。

加载模型后,单击 设置 以打开聊天设置。通过调整以下参数来自定义模型的响应

  • 系统提示词 - 在提供任何用户输入作为提示之前,设置模型的整体基调和行为。系统提示词是建立模型角色的隐藏指令。例如,您可以指示模型充当数据分析师、Python 开发人员或坚持正式的语气。有关更多信息,请参阅 编写有效的系统提示词

  • 最大响应长度 - 调整模型响应的长度。简短的响应最适合简洁的答案或信息摘要,而较长的响应更适合详细的指导。

    提示

    选中 让模型决定 复选框,以允许模型确定何时充分满足提示请求。

  • 上下文长度 - 定义模型可以回忆起多少正在进行的对话。较高的上下文长度允许模型跟踪更多的对话历史记录,这对于长时间的讨论很有利。但是,由于模型处理越来越多的历史记录,这可能会增加 RAM 使用量并减慢推理速度。较低的上下文长度可以通过考虑较少的历史记录来提供更快的响应并减少内存使用。

  • 温度 - 控制模型响应中随机性的程度。这可以帮助模型在响应中感觉更具或更少创造力。较低的温度使模型的回复更具确定性和一致性,而较高的温度会引入可变性,从而允许模型对同一提示产生不同的答案。

提示

单击 设置 面板顶部的 重置 以返回系统默认设置。