自然语言生成中的幻觉现象综述
计算与语言
2024-07-16 v7
摘要
近年来，得益于以 Transformer 语言模型为代表的序列到序列深度学习技术的发展，自然语言生成（NLG）取得了指数级进步。这一进展带来了更流畅、更连贯的 NLG，推动了摘要生成、对话生成和数据到文本生成等下游任务的改进。然而，基于深度学习的生成也容易生成非预期文本的幻觉，这在许多真实场景中将系统性能降级并无法满足用户期望。为解决此问题，已有许多关于度量与缓解幻觉文本的研究，但此前从未被全面综述过。在本综述中，我们因而提供 NLG 中幻觉问题的研究进展与挑战的广泛概览。该综述分为两部分：（1）度量、缓解方法与未来方向的概览；（2）以下下游任务中幻觉的任务特定研究进展概览，即摘要生成、对话生成、生成式问答、数据到文本生成、机器翻译和视觉语言生成；以及（3）大语言模型（LLM）中的幻觉。本综述旨在促进研究人员协作应对 NLG 中幻觉文本的挑战。
引用
@article{arxiv.2202.03629,
title = {Survey of Hallucination in Natural Language Generation},
author = {Ziwei Ji and Nayeon Lee and Rita Frieske and Tiezheng Yu and Dan Su and Yan Xu and Etsuko Ishii and Yejin Bang and Delong Chen and Wenliang Dai and Ho Shu Chan and Andrea Madotto and Pascale Fung},
journal= {arXiv preprint arXiv:2202.03629},
year = {2024}
}