基于多轮链式思考的不忠实摘要后编辑
计算与语言
2025-01-22 v1
摘要
近期大型语言模型（LLM）在自然语言理解与生成任务中展现出惊人的能力。本文探讨了利用LLM对新闻摘要的忠诚度进行评估，发现其与人类判断高度相关。进一步研究LLM作为忠诚度后编辑器的能力，通过实验不同的链式思考提示，以定位和纠正生成摘要与来源新闻文档之间事实性不一致的问题，实现的后编辑成功率显著高于先前工作。我们对后编辑后的摘要进行了自动与人类评估，发现基于链式思考推理事实错误类型进行的提示，是有效的忠诚度后编辑策略，性能与微调后编辑模型相当。我们还展示了多轮后编辑——此前未被探索的做法——可用于逐步提高单轮无法完全纠正的摘要忠诚度。
引用
@article{arxiv.2501.11273,
title = {Multi-round, Chain-of-thought Post-editing for Unfaithful Summaries},
author = {Yi-Hui Lee and Xiangci Li and Jessica Ouyang},
journal= {arXiv preprint arXiv:2501.11273},
year = {2025}
}