对话响应生成中常识推理解释的探析
计算与语言
2021-09-13 v4 人工智能
机器学习
摘要
人类在对话中隐式地使用常识推理(CSR)来产生自然且连贯的回复。为缩小当前响应生成(RG)模型与人类交流能力之间的差距,我们希望通过探析 RG 模型对引发恰当回复的常识推理的理解,来弄清 RG 模型为何如此回复。我们将该问题形式化,把常识作为 RG 任务中的潜变量,并将对回复的解释作为常识的文本形式。我们从四个对话数据集中收集了 6k 条标注的、用以论证回复合理性的解释,并请人工对其进行验证,进而提出两种探析设定以评估 RG 模型的 CSR 能力。探析结果表明,模型未能捕捉常识解释与回复之间的逻辑关系,且在领域内数据上微调或增大模型规模均未能使 RG 理解 CSR。我们希望本研究能激励更多工作,使 RG 模型在追求顺畅的人机交流中模仿人类推理过程。
引用
@article{arxiv.2104.09574,
title = {Probing Commonsense Explanation in Dialogue Response Generation},
author = {Pei Zhou and Pegah Jandaghi and Bill Yuchen Lin and Justin Cho and Jay Pujara and Xiang Ren},
journal= {arXiv preprint arXiv:2104.09574},
year = {2021}
}
备注
Accepted in EMNLP 2021-Findings. 15 pages, 12 figures, 3 tables