我喜欢鱼，尤其是海豚：对话建模中的矛盾检测问题
计算与语言
2020-12-29 v2 人工智能
机器学习
摘要
为量化自然语言理解模型在通用对话中捕捉一致性的能力，我们提出了对话矛盾检测任务（DECODE）以及一个包含人与人、人与机器人矛盾对话的新对话数据集。随后，我们将基于结构化话语、使用预训练Transformer模型进行矛盾检测的方法与典型的非结构化方法进行比较。结果表明：(i) 我们新收集的数据集在为对话矛盾检测任务提供监督方面，明显优于现有的NLI数据，包括那些旨在覆盖对话领域的数据；(ii) 基于结构化话语的方法在分析和分布外对话上都比非结构化对应方法更鲁棒且更具可迁移性。我们还展示了我们最佳的矛盾检测模型与人类判断具有良好相关性，并进一步提供了其在自动评估和改进最先进生成式聊天机器人一致性方面应用证据。
引用
@article{arxiv.2012.13391,
title = {I like fish, especially dolphins: Addressing Contradictions in Dialogue Modeling},
author = {Yixin Nie and Mary Williamson and Mohit Bansal and Douwe Kiela and Jason Weston},
journal= {arXiv preprint arXiv:2012.13391},
year = {2020}
}
备注
15 pages