CoPrUS：面向更真实基准对话的一致性保持语句合成
计算与语言
2024-12-11 v1
摘要
大规模Wizard-of-Oz对话数据集已经使得基于深度学习的对话系统训练成为可能。虽然它们作为基准数据集是成功的，但它们缺乏某些类型的语句，这将使它们更加真实。在这项工作中，我们研究了通过自动流水线创建合成通信错误。基于语言学理论，我们提出并遵循一个简单的错误分类法。我们关注三种在真实世界对话中可能发生但在基准数据集中代表性不足的误解：误解、不理解以及模糊相关的问题。我们的两步方法首先使用最先进的大语言模型（LLM）创建错误，然后创建修复语句。我们采用基于语言模型的评估来确保生成语句的质量。我们将该方法应用于MultiWOZ数据集，并通过定性、定量以及人工评判进行评估。我们的结果表明当前的大语言模型可以通过作为数据增强的一种形式，帮助向基准数据集中添加后置误解。我们发布了生成的数据集CoPrUS-MultiWOZ，其中近1900个对话被修改，以促进未来对话系统研究。
引用
@article{arxiv.2412.07515,
title = {CoPrUS: Consistency Preserving Utterance Synthesis towards more realistic benchmark dialogues},
author = {Sebastian Steindl and Ulrich Schäfer and Bernd Ludwig},
journal= {arXiv preprint arXiv:2412.07515},
year = {2024}
}
备注
Accepted at COLING 2025 (main, long paper)