不，那不是我的意思：对话式问答中第三位置修复的处理
计算与语言
2023-08-01 v1
摘要
处理误解的能力对于鲁棒且忠实的对话式 AI 至关重要。人们通常在察觉误解后立即处理，使用称为修复（repair）的高度系统化交互机制。一种重要的修复类型是第三位置修复（Third Position Repair, TPR），即说话者起初被误解，但在得知对话者的错误回应后明显察觉时纠正该误解。本文中，我们收集并公开发布 Repair-QA，这是对话式问答（QA）场景中首个大规模的 TPR 数据集。该数据由 TPR 轮次、对应的对话上下文以及用于执行 TPR 的原始轮次候选修复组成。我们通过训练和评估用于执行 TPR 的强基线模型展示了该数据的效用。对于独立 TPR 执行，我们对微调的 T5 模型及 OpenAI 的 GPT-3 LLM 进行了自动与人工评估。此外，我们在下游对话式 QA 任务中对外在评估了 LLM 的 TPR 处理能力。结果表明 GPT-3 模型在 TPR 上的开箱性能较差，而在接触 Repair-QA 后显著提升。
引用
@article{arxiv.2307.16689,
title = {No that's not what I meant: Handling Third Position Repair in Conversational Question Answering},
author = {Vevake Balaraman and Arash Eshghi and Ioannis Konstas and Ioannis Papaioannou},
journal= {arXiv preprint arXiv:2307.16689},
year = {2023}
}
备注
Accepted at SIGDIAL'23