多语言细粒度新闻标题幻觉检测
计算与语言
2024-07-24 v1
摘要
自动新闻标题生成的流行度随着预训练语言模型的进步而迅速上升。然而，这些模型常常会出现"幻觉"问题，即生成的标题未完全由其来源文章支持。针对这一问题的研究主要聚焦于英语，采用过于简化的分类方案，忽略了细微的幻觉类型。在本研究中，我们引入了首个包含 11000 多对样本、覆盖 5 种语言的多语言、细粒度新闻标题幻觉检测数据集，由专家标注出详细的幻觉类型。我们在该数据集上进行了广泛实验。首先，我们实现了several监督式微调方法作为准备性解决方案，并展示了该数据集的挑战性和实用性。其次，我们测试了各种大型语言模型的情境学习能力，并提出了两种新技术：语言相关的示例选择和粗到细提示，以提升零样本幻觉检测在 example-F1 指标上的性能。我们发布该数据集以推动多语言、细粒度标题幻觉检测的进一步研究。
引用
@article{arxiv.2407.15975,
title = {Multilingual Fine-Grained News Headline Hallucination Detection},
author = {Jiaming Shen and Tianqi Liu and Jialu Liu and Zhen Qin and Jay Pavagadhi and Simon Baumgartner and Michael Bendersky},
journal= {arXiv preprint arXiv:2407.15975},
year = {2024}
}