MemoChat：调优 LLMs 以利用备忘录维持长程开放域对话一致性
计算与语言
2023-08-24 v2
摘要
我们提出 MemoChat，一种精炼指令的流水线，使大语言模型（LLMs）能有效运用自发撰写的备忘录来维持一致的长程开放域对话。我们通过迭代的“记忆-检索-响应”循环展示长程开放域对话。这要求我们为每个不同阶段精心设计并调优指令。指令由公开数据集集合重构而来，以教导 LLMs 利用结构化备忘录记忆并检索过往对话，从而在参与未来对话时提升一致性。我们邀请专家手动标注一个用于评估长程对话问题一致性的测试集。在涉及开源与 API 可访问聊天机器人的三种测试场景上的大规模实验验证了 MemoChat 的效用，其优于强基线。我们的代码、数据与模型可见于：https://github.com/LuJunru/MemoChat。
引用
@article{arxiv.2308.08239,
title = {MemoChat: Tuning LLMs to Use Memos for Consistent Long-Range Open-Domain Conversation},
author = {Junru Lu and Siyu An and Mingbao Lin and Gabriele Pergola and Yulan He and Di Yin and Xing Sun and Yunsheng Wu},
journal= {arXiv preprint arXiv:2308.08239},
year = {2023}
}