Spring AI 连续对话

系列文章 > SpringAI > Spring AI 连续对话

#SpringAI

在前面 Spring AI Chat 简单示例 中我们只调用了一次请求，返回了一个结果，我们见过的各种 chat 都是支持连续对话的，AI 需要记住我们的上下文才能让对话连贯起来，通过 API 调用的时候每次对话都是一次无状态的独立请求，想要实现连续对话就需要我们自己记住对话的历史，在每次调用 API 的时候将对话历史传递给 API。

本文就简单实现连续对话，并且引申一些相关的扩折或者优化。

基本功能

首先要知道 Spring AI 中交互的消息对象，在 Prompt 中存在 public Prompt(List<Message> messages) 构造方法，可以传递多个消息，Message 中存在消息类型 MessageType，包含下面几种类型：

public enum MessageType {
  USER("user"),
  ASSISTANT("assistant"),
  SYSTEM("system"),
  FUNCTION("function");

这四种类型分别对应的 Message 实现，如 UserMessage，SystemMessage。

在 API 调用返回的 ChatResponse 包含的 Generation 中返回的是 AssistantMessage 消息，因此只需要通过 List<message> 按顺序记录消息历史就可以实现。

var openAiApi = ...//创建 API
//创建客户端，注意withMaxTokens参数，可以不限制
ChatClient chatClient = new OpenAiChatClient(openAiApi, OpenAiChatOptions.builder()
    .withModel("gpt-3.5-turbo")
    .withTemperature(0.4F).build());
//使用集合记录消息历史
List<Message> messages = new ArrayList<>();
//可以预设系统消息
messages.add(new SystemMessage("你是一个聊天机器人，所有回复请使用中文。"));
//演示从控制台输入内容进行对话
Scanner scanner = new Scanner(System.in);
while (true) {
  System.out.print(">>>>> ");
  String message = scanner.nextLine();
  //退出命令
  if (message.equals("exit")) {
    break;
  }
  //添加到消息历史
  messages.add(new UserMessage(message));
  //发送所有消息
  ChatResponse response = chatClient.call(new Prompt(messages));
  //将返回的助手消息添加到消息历史
  messages.add(response.getResult().getOutput());
  //输出返回的内容
  System.out.println("<<<<< "  + response.getResult().getOutput().getContent());
}

最近在看《大道朝天》，所以问几个相关的问题进行测试：

>>>>> 大道朝天的作者是谁？
<<<<< 大道朝天的作者是明代著名文学家冯梦龙。
>>>>> 你知道猫腻是谁吗？
<<<<< 猫腻是中国知名网络小说作家，代表作品有《择天记》、《将夜》等。
>>>>> 大道朝天的作者是谁？
<<<<< 大道朝天的作者是明代著名文学家冯梦龙。
>>>>> exit

可以看到 AI 的回复是错误的，尤其是有历史后，回复会变得更固定。当我去掉对话历史时，回复的内容会有所不同：

>>>>> 大道朝天的作者是谁？
<<<<< 大道朝天的作者是唐代诗人李白。
>>>>> 大道朝天的作者是谁？
<<<<< 大道朝天的作者是唐代诗人杜甫。
>>>>> 大道朝天的作者是谁？
<<<<< 大道朝天的作者是庄子。
>>>>> 大道朝天的作者是谁？
<<<<< 大道朝天的作者是李白。

接下来是几个基于对话的扩展。

预设上下文

当前很火的 RAG 技术实际上就是将已有知识向量化之后通过向量查询，将查询的结果作为上下文提供给 AI，在此基础上进行回答，上面的问题中，我们可以增加一个上下文，让 AI 回答的更准确，修改前面示例增加上下文：

List<Message> messages = new ArrayList<>();
messages.add(new SystemMessage("你是一个聊天机器人，所有回复请使用中文。"));
messages.add(new SystemMessage("猫腻 ，本名晓峰，1977年出生于湖北省宜昌市夷陵区，网络作家，橙瓜见证·网络文学20年十大玄幻作家，百强大神作家，百位行业人物。\n" +
                "猫腻曾就读于四川大学（未毕业），后从事网络文学创作，现为阅文集团白金作家。" +
                "代表作《朱雀记》《庆余年》《间客》《将夜》《择天记》《大道朝天》、《映秀十年事》等，其中《朱雀记》于2007年获得新浪第四届原创大赛·奇幻武侠奖一等奖；" +
                "《间客》于2013年获得首届“西湖·类型文学双年奖”银奖 ，于2018年入选“中国网络文学20年20部作品”，位列榜首 ；《将夜》于2015年获得首届网络文学双年奖金奖 。"));

把百度的一段内容放到了上下文，再重新进行上面的对话：

>>>>> 大道朝天的作者是谁？
<<<<< 《大道朝天》的作者是网络作家猫腻。
>>>>> 你知道猫腻是谁吗？
<<<<< 猫腻是网络作家的笔名，本名是晓峰，是一位知名的网络文学作家，代表作品包括《朱雀记》、《庆余年》、《间客》、《将夜》、《择天记》、《大道朝天》等。
>>>>> 猫腻获得过哪些奖？
<<<<< 猫腻曾获得过多个奖项，其中包括：
1. 《朱雀记》于2007年获得新浪第四届原创大赛·奇幻武侠奖一等奖；
2. 《间客》于2013年获得首届“西湖·类型文学双年奖”银奖；
3. 《将夜》于2015年获得首届网络文学双年奖金奖。

有了上下文后 AI 的回答更准确了。

减少 token 数

AI 的调用价钱和 token 数相关，所以如果支持无限长度的对话会使得成本快速升高，所以一般的对话会限制连续对话的次数，或者通过 AI 将对话总结后减少需要传递的内容。

如果想减少次数，最简单的就是判断对话数，然后减少前面的内容，在原始代码中修改如下：

messages.add(new UserMessage(message));
// messages 保留最近的10次对话
if (messages.size() > 10) {
  messages.remove(0);
}

如果通过总结的方式，还可以额外调用一次 AI，然后去掉前面几次的 user 和 assistant 内容，将总结的内容追加到最后，再加上本次的用户消息进行发送。

支持多人对话

示例中只能单线程的一个人进行对话，如果通过 http 提供服务，想要支持多人对话，最简单的方式就是给每个对话分配一个对话id，然后将对话id和对应的对话历史联系起来，例如使用 Map：

Map<String, List<Message>> chatMessage = new ConcurrentHashMap<>();

对话时都带着对话id即可将多人的对话区分开。

连续对话的实现比较简单，我们能额外做的就是在 API 调用时如何获取并提供预设信息，如何处理额外的 API 调用实现一些特殊需求，在消息最终展示给用户时需要做的各种处理。