实验室与人群：神经对话模型数据质量研究
计算与语言
2020-12-08 v1
摘要
围绕收集与处理高质量数据的挑战阻碍了数据驱动对话模型的进展。先前的方法正远离昂贵、资源密集的实验室环境——在那里收集缓慢但数据被视为高质量。众包平台（如 Amazon Mechanical Turk）的出现为研究者提供了另一种经济高效且快速的数据收集替代方案。然而，流畅、自然的口语或文本交互的收集可能具有挑战性，尤其是在两名众包工作者之间。在本研究中，我们比较了针对同一交互任务但在两种不同环境下收集的对话模型性能：实验室 vs. 众包。我们发现，达到相似准确率所需的实验室对话更少，少于众包数据量的一半。我们讨论了每种数据收集方法的优缺点。
引用
@article{arxiv.2012.03855,
title = {The Lab vs The Crowd: An Investigation into Data Quality for Neural Dialogue Models},
author = {José Lopes and Francisco J. Chiyah Garcia and Helen Hastie},
journal= {arXiv preprint arXiv:2012.03855},
year = {2020}
}
备注
Accepted at Human in the Loop Dialogue Systems Workshop @NeurIPS 2020