大语言模型作为多源观点摘要的架构师与评论家
计算与语言
2025-07-08 v1
摘要
多源观点摘要超越了传统的观点摘要，通过整合额外的产品元数据来源，如描述、关键特性、规格和评分，以及评论。这种整合产生了全面的摘要，捕捉了主观观点和客观产品属性，这对于知情决策至关重要。尽管大语言模型在各种自然语言处理任务中取得了显著成功，但它们在多源观点摘要中的潜力在很大程度上仍未得到探索。此外，该任务缺乏评估数据集阻碍了进一步进展。为弥补这一差距，我们引入了M-OS-EVAL，一个用于在7个关键维度（流畅性、连贯性、相关性、忠实性、方面覆盖、情感一致性、特异性）上评估多源观点摘要的基准数据集。我们的结果表明，多源观点摘要显著提升了用户参与度，一项用户研究显示，平均87%的参与者更偏好多源观点摘要而非观点摘要。我们的实验表明，事实丰富的摘要增强了用户参与度。值得注意的是，M-OS-PROMPT与人类判断表现出更强的一致性，实现了平均斯皮尔曼相关系数 ρ = 0.74，超越了先前方法的性能。
引用
@article{arxiv.2507.04751,
title = {LLMs as Architects and Critics for Multi-Source Opinion Summarization},
author = {Anuj Attri and Arnav Attri and Pushpak Bhattacharyya and Suman Banerjee and Amey Patil and Muthusamy Chelliah and Nikesh Garera},
journal= {arXiv preprint arXiv:2507.04751},
year = {2025}
}