你说什么？任务型对话数据集并不具备对话性！？
计算与语言
2022-03-08 v1
摘要
高质量的任务型对话数据集对虚拟助手的开发至关重要。然而三个最相关的大规模对话数据集存在一个共同缺陷：在很大程度上，对话状态更新可由仅考虑当前用户语句而忽略对话历史的模型进行追踪。本工作中，我们勾勒出对话与上下文效应的分类体系，并借此考察 MultiWOZ、SGD 与 SMCalFlow 这几个最新且广泛使用的任务型对话数据集。我们以与模型无关的方式分析这些数据集，并使用强文本到文本基线（T5）通过实验证实这些发现。我们发现 MultiWOZ 中少于 4% 的轮次与 SGD 中少于 10% 的轮次具有对话性，而 SMCalFlow 在当前发布版本中完全不具有对话性：其对话状态追踪任务可化简为单轮语义解析。我们最后勾勒出真正具有对话性的对话数据集应满足的要求。
引用
@article{arxiv.2203.03431,
title = {What Did You Say? Task-Oriented Dialog Datasets Are Not Conversational!?},
author = {Alice Shoshana Jakobovits and Francesco Piccinno and Yasemin Altun},
journal= {arXiv preprint arXiv:2203.03431},
year = {2022}
}
备注
12 pages, 3 figures