模式引导语义准确率：面向任务的对话响应生成中的忠实性
计算与语言
2023-01-31 v1
摘要
确保生成的话语忠实于对话动作，对于面向任务的对话响应生成至关重要。槽位错误率（SER）仅部分衡量生成质量，因为它仅评估由非类别型槽位生成的话语，这类槽位的值预期被精确复现。由更具可变性的类别型槽位生成的话语则不被 SER 评估。我们提出模式引导语义准确率（SGSAcc），通过识别文本蕴含来评估由类别型与非类别型槽位生成的话语。我们表明，SGSAcc 可应用于评估 Schema Guided Dialogue（SGD）数据集中广泛对话动作生成的话语，并与人类判断具有良好一致性。我们还识别出在未见域中由类别型槽位生成忠实话语这一此前被忽视的弱点。我们表明，应用于 T5 生成的前缀微调（prefix tuning）可解决该问题。我们进一步构建了前缀微调与微调模型的集成，在 SGD 数据集上实现了已报道的最低 SER 与高 SGSAcc。
引用
@article{arxiv.2301.12568,
title = {Schema-Guided Semantic Accuracy: Faithfulness in Task-Oriented Dialogue Response Generation},
author = {Jinghong Chen and Weizhe Lin and Bill Byrne},
journal= {arXiv preprint arXiv:2301.12568},
year = {2023}
}
备注
8 pages, 1 figure