RHO (ρ): 基于知识支撑的开放域对话幻觉消减方法
计算与语言
2023-05-15 v2 人工智能
摘要
对话系统可利用大规模预训练语言模型与知识来生成流畅且信息丰富的回复。然而，这些模型仍易于产生不被输入来源支持的幻觉回复，这极大阻碍了其应用。外部知识与对话上下文之间的异质性给表示学习与来源融合带来挑战，并进一步导致不忠实性。为应对该挑战并生成更忠实的回复，本文提出 RHO (ρ)，利用知识图谱(KG)中链接实体与关系谓词的表示。我们提出(1)局部知识支撑，将文本嵌入与相应的 KG 嵌入相结合；以及(2)全局知识支撑，通过注意力机制赋予 RHO 多跳推理能力。此外，我们设计了一种基于 KG 子图上游走的回复重排序技术，以改进对话推理。在 OpenDialKG 上的实验结果表明，我们的方法在自动与人工评测上均以较大幅度显著优于 SOTA 方法，尤其在幻觉消减方面(FeQA 上 17.54%)。
引用
@article{arxiv.2212.01588,
title = {RHO ($\rho$): Reducing Hallucination in Open-domain Dialogues with Knowledge Grounding},
author = {Ziwei Ji and Zihan Liu and Nayeon Lee and Tiezheng Yu and Bryan Wilie and Min Zeng and Pascale Fung},
journal= {arXiv preprint arXiv:2212.01588},
year = {2023}
}
备注
accepted by ACL 2023 Findings