PICK：面向知识 grounded 对话系统的精炼且信息充分的候选打分方法
计算与语言
2023-09-20 v1
摘要
将对话响应生成基于外部知识之上，旨在产生信息丰富且引人入胜的回复。然而，当前的知识 grounded 对话（KGD）系统常因幻觉和缺乏连贯性等问题，未能使生成响应与人类偏好的质量对齐。在分析多个语言模型生成结果后，我们观察到在单次解码过程中存在备选生成响应。这些备选响应比解码过程优先选出的最优响应更忠实，且与先前对话轮次的相关性相当或更高。为应对这些挑战并受上述观察驱动，我们提出精炼且信息充分的候选打分（PICK），一种生成重打分框架，使模型无需额外标注数据或模型调优即可生成忠实且相关的响应。通过全面的自动与人工评估，我们证明了 PICK 在生成更忠实且保持与对话历史相关响应方面的有效性。此外，PICK 在所有解码策略下，使用 oracle 知识与检索知识均能持续提升系统性能。我们在 https://github.com/bryanwilie/pick 提供了详细实现。
引用
@article{arxiv.2309.10413,
title = {PICK: Polished & Informed Candidate Scoring for Knowledge-Grounded Dialogue Systems},
author = {Bryan Wilie and Yan Xu and Willy Chung and Samuel Cahyawijaya and Holy Lovenia and Pascale Fung},
journal= {arXiv preprint arXiv:2309.10413},
year = {2023}
}