面向常识感知对话智能体的对话思维链蒸馏
计算与语言
2023-10-24 v2 人工智能
摘要
类人聊天机器人需要利用常识推理,以有效理解并回应对话中存在的隐式信息。然而,要在回应中实现此种连贯性与信息性并非易事。即便对大型语言模型(LLMs)而言,在单跳内识别并聚合关键证据也是一项重大挑战。这种复杂性源于此类证据分散于对话的多个轮次中,从而需要进行多跳整合。因此,我们的重点是促进对话上下文上的此类多跳推理,即对话思维链(chain-of-thought, CoT)推理。为此,我们提出一种知识蒸馏框架,利用LLMs作为不可靠教师,并通过对齐滤波器有选择地蒸馏一致且有益的推理依据。我们进一步提出DOCTOR,一种对话思维链推理器(DialOgue Chain-of-ThOught Reasoner),为回应生成提供可靠的CoT推理依据。我们开展了大量实验,表明以DOCTOR的高质量推理依据增强对话智能体可显著提升其回应质量。
引用
@article{arxiv.2310.09343,
title = {Dialogue Chain-of-Thought Distillation for Commonsense-aware Conversational Agents},
author = {Hyungjoo Chae and Yongho Song and Kai Tzu-iunn Ong and Taeyoon Kwon and Minjin Kim and Youngjae Yu and Dongha Lee and Dongyeop Kang and Jinyoung Yeo},
journal= {arXiv preprint arXiv:2310.09343},
year = {2023}
}
备注
25 pages, 8 figures, Accepted to EMNLP 2023