面向目标对话中自然变异的影响
计算与语言
2020-10-07 v1 人工智能
摘要
现有用于评估端到端神经对话系统性能的基准缺乏一个关键组成部分：人类对话中存在的自然变异。大多数数据集通过众包构建，众包工作者在扮演用户/客服角色时遵循固定的指令模板。这导致对话直白、例行且基本无故障，因为众包工作者不会想到呈现真实用户自然发生的全部行为范围。在本工作中，我们研究了自然变异对两个面向目标数据集的影响：bAbI 对话任务和斯坦福多领域数据集（SMD）。我们还通过引入用户侧的自然变异，为这两个数据集提出了更新且更有效的测试平台。我们观察到，近期最先进的端到端神经方法（如 BossNet 和 GLMP）在这两个数据集上的性能显著下降（SMD 上的 Ent. F1 下降超过 60%，bAbI 任务上的每对话准确率下降 85%）。
引用
@article{arxiv.2010.02260,
title = {Effects of Naturalistic Variation in Goal-Oriented Dialog},
author = {Jatin Ganhotra and Robert Moore and Sachindra Joshi and Kahini Wadhawan},
journal= {arXiv preprint arXiv:2010.02260},
year = {2020}
}
备注
Findings of EMNLP 2020. The updated datasets are available at: https://github.com/IBM/naturalistic-variation-goal-oriented-dialog-datasets