识别摘要中的事实不一致：通过任务分类法为LLM推理提供基础
计算与语言
2024-10-07 v3 机器学习
摘要
事实不一致是生成模型实现忠实摘要的一大障碍。虽然增强不一致检测的一个主要方向是推导更强的自然语言推理（NLI）模型，但我们提出了一个正交的方面，强调了将任务特定分类法纳入推理的重要性。为此，我们整合了摘要中不一致事实的关键错误类型，并将它们纳入以促进LLM的零样本和监督范式。在五个不同领域的十个数据集上的大量实验表明，零样本LLM推理能够从错误类型分类法描绘的显式解空间中受益，并在总体上实现了最先进的性能，超越了专用的非LLM基线以及近期的LLM基线。我们进一步通过设计的提示补全和监督训练策略，将融合了分类法的模型蒸馏到参数中，以更小的LLM高效替代最先进的零样本推理。
引用
@article{arxiv.2402.12821,
title = {Identifying Factual Inconsistencies in Summaries: Grounding LLM Inference via Task Taxonomy},
author = {Liyan Xu and Zhenlin Su and Mo Yu and Jin Xu and Jinho D. Choi and Jie Zhou and Fei Liu},
journal= {arXiv preprint arXiv:2402.12821},
year = {2024}
}
备注
Accepted to EMNLP 2024 Findings