CHARP：面向知识 grounding 对话系统的对话历史感知探针
计算与语言
2024-05-27 v1
摘要
在本工作中，我们深入研究了关注忠实性的流行知识 grounding 对话基准 FaithDial。我们指出，FaithDial 数据中相当部分包含注释 artifacts，可能导致模型完全忽略对话历史。因此，我们引入 CHARP，一种用于改进评估对话模型中幻觉情况的诊断测试集。CHARP 不仅衡量幻觉，还衡量模型对对话任务的遵从性。我们的广泛分析揭示，模型主要因无法有效注意和推理对话历史而在 CHARP 上表现不佳。此外，FaithDial 的评估方法未能捕捉这些短comings，忽略了对话历史。我们的发现表明，在知识 grounding 对话领域的数据集创建和幻觉评估方面仍有广阔的改进空间，CHARP 可作为监控该特定研究领域进展的工具。CHARP 已公开可用：https://huggingface.co/datasets/huawei-noah/CHARP
关键词
引用
@article{arxiv.2405.15110,
title = {CHARP: Conversation History AwaReness Probing for Knowledge-grounded Dialogue Systems},
author = {Abbas Ghaddar and David Alfonso-Hermelo and Philippe Langlais and Mehdi Rezagholizadeh and Boxing Chen and Prasanna Parthasarathi},
journal= {arXiv preprint arXiv:2405.15110},
year = {2024}
}
备注
To appear in Findings ACL 2024