闲聊作为干扰:为任务导向型对话添加用户背景故事
计算与语言
2024-07-01 v3
摘要
在任务导向型对话(TODs)期间,人类用户自然会引入超出当前任务范围的闲聊,从而干扰对话流程。为了解决这一问题而无需昂贵的数据人工创建,我们利用 Llama-2-70B 进行少样本提示(few-shot prompting),为 MultiWOZ 数据集添加了用户背景故事,这是 TODs 中闲聊干扰的典型例子。我们通过测试两个模型来评估此添加的影响:一个仅在同 TODs 上训练,另一个在带有初步闲聊交互的 TODs 上训练。我们的分析表明,我们增强的数据集对这些系统构成了挑战。此外,我们证明该数据集可有效用于训练目的,使系统能够在同一轮次中一致地回应用户的背景故事,同时成功推进任务,这一点已通过人工评估得到确认。这些发现突显了生成新型闲聊 -TOD 场景的好处,以便更彻底地测试 TOD 系统并提高其对自然用户干扰的鲁棒性。
引用
@article{arxiv.2402.15248,
title = {Chitchat as Interference: Adding User Backstories to Task-Oriented Dialogues},
author = {Armand Stricker and Patrick Paroubek},
journal= {arXiv preprint arXiv:2402.15248},
year = {2024}
}
备注
Accepted @ LREC-COLING 2024