利用关键元素推理教会大语言模型生成聚焦数字的标题
计算与语言
2025-02-06 v1 机器学习
摘要
聚焦数字的标题生成是一项摘要任务，要求同时具备高文本质量和精确的数字准确性，这对大语言模型（LLMs）构成了独特的挑战。现有文献中的研究仅关注文本质量或数字推理，因此不足以应对这一挑战。本文中，我们提出一种新颖的思维链框架，利用新闻文章中包含主题、实体和数字推理（TEN）关键元素的推理，来增强 LLM 生成主题一致、高质量且数字精确的文本的能力。具体而言，我们使用一个教师 LLM 生成 TEN 推理作为监督数据，然后用这些数据来教导和微调一个学生 LLM。我们的方法教会学生 LLM 自动生成推理，从而增强其数字推理和生成主题一致的数字标题的能力。实验表明，我们的方法在文本质量和数字准确性方面均取得了优越的性能。
引用
@article{arxiv.2502.03129,
title = {Teaching Large Language Models Number-Focused Headline Generation With Key Element Rationales},
author = {Zhen Qian and Xiuzhen Zhang and Xiaofei Xu and Feng Xia},
journal= {arXiv preprint arXiv:2502.03129},
year = {2025}
}
备注
Pre-print for a paper accepted to findings of NAACL 2025