不一致的对话回复及其恢复方法

聊天系统的一个关键问题是保持其自身偏好、观点、信念和事实的一致性，这已被证明是一个难题。在本研究中，我们研究评估和增强聊天系统话语一致性的方法。首先开发了一个用于研究不一致性的数据集，其中不一致的对话回复、不一致性的解释以及恢复话语均由标注者撰写。这涵盖了不一致性的生命周期，即引入、理解和解决。在此基础上，我们引入了一组以对话一致性为中心的任务，特别聚焦于其检测和解决。我们的实验结果表明，我们的数据集显著促进了识别和解决对话不一致性的进展，而当前流行的 ChatGPT 等大型语言模型虽然擅长解决不一致性，但在检测方面仍然存在困难。