开放域对话数据集重叠问题的实证研究
计算与语言
2022-05-10 v2 人工智能
摘要
开放域对话系统旨在通过与人类进行文本交流，对话研究严重依赖基准数据集。本工作中，我们观察到 DailyDialog 和 OpenSubtitles 这两个流行的开放域对话基准数据集中存在重叠问题。我们的系统分析随后表明，此类重叠可被利用以获取虚假的最先进性能。最后，我们通过清洗这些数据集并为未来研究建立恰当的数据处理流程来解决该问题。
引用
@article{arxiv.2201.06219,
title = {An Empirical Study on the Overlapping Problem of Open-Domain Dialogue Datasets},
author = {Yuqiao Wen and Guoqing Luo and Lili Mou},
journal= {arXiv preprint arXiv:2201.06219},
year = {2022}
}
备注
Accepted by LREC 2022