深入探究对话系统中事实幻觉的多种模式
计算与语言
2023-01-12 v1 人工智能
摘要
基于知识图谱（KG）的对话常使用大型预训练模型，且通常受事实幻觉困扰。常有无源于知识源与对话历史的实体被引入回复，从而阻碍对话流畅性——已有工作试图通过调整训练流程或多步精炼方法来克服此问题。然而，构建实体级幻觉检测系统这一可提供细粒度信号以在生成回复时控制谬误内容的工作甚少。作为应对该问题的第一步，我们通过人工反馈分析深入识别 KG grounded 聊天机器人中各类幻觉模式。其次，我们提出一系列扰动策略以构建名为 FADE（FActual Dialogue Hallucination DEtection Dataset，事实对话幻觉检测数据集）的合成数据集。最后，我们开展全面数据分析，并构建多个幻觉检测基线模型，与人工核验数据及已有基准进行比较。
引用
@article{arxiv.2301.04449,
title = {Diving Deep into Modes of Fact Hallucinations in Dialogue Systems},
author = {Souvik Das and Sougata Saha and Rohini K. Srihari},
journal= {arXiv preprint arXiv:2301.04449},
year = {2023}
}
备注
EMNLP 2022 (Findings)