评估大型语言模型在自动化新闻文章摘要中的有效性
人工智能
2025-02-25 v1 信息检索
摘要
新闻分析和摘要的自动化为应对当今信息社会中普遍存在的大量信息处理和分析挑战提供了一种有前景的解决方案。大型语言模型 (LLMs) 已展现出将大量文本数据转化为简洁易懂摘要的能力，为信息过载问题提供了有效的解决方案，并为用户提供相关信息的快速概览。该技术的一个特别重要的应用在于供应链风险分析。出于遵守法律法规、风险管理以及维持供应链弹性等几个关键原因，公司必须监控有关其供应商的新闻并对事件做出响应。本文开发了一个使用 LLMs 进行供应链风险分析的自动化新闻摘要系统。所提出的解决方案从各种来源聚合新闻，使用 LLMs 对其进行摘要，并以清晰简洁的格式向用户呈现浓缩的信息。这种方法使公司能够优化其信息处理并做出明智的决策。我们的研究解决了两个主要研究问题：(1) LLMs 在自动化新闻摘要中是否有效，特别是在供应链风险分析的背景下？(2) 各种 LLMs 在摘要质量方面的可读性、重复检测和风险识别有效性如何？在本文中，我们使用当时一系列公开可用的 LLMs 进行了离线研究，并辅以一项针对离线实验中表现最佳系统的用户研究，以进一步评估其有效性。我们的结果表明，LLMs，特别是 Few-Shot GPT-4o mini，在摘要质量和风险识别方面提供了显著的改进。
引用
@article{arxiv.2502.17136,
title = {Evaluating the Effectiveness of Large Language Models in Automated News Article Summarization},
author = {Lionel Richy Panlap Houamegni and Fatih Gedikli},
journal= {arXiv preprint arXiv:2502.17136},
year = {2025}
}