OpinioRAG：从大规模在线评论生成用户导向意见要点

我们研究了从大量用户评论中生成意见要点的任务，评论数量常常超过数千篇，而现有方法要么无法扩展，要么产生通用、适用于一切摘要的输出，忽略了个性化需求。在解决这个问题方面，我们引入 OpinioRAG，一个可扩展且无需训练的框架，将 RAG 基于证据的检索与大语言模型结合起来，高效地产生量身定制的摘要。此外，我们提出了 novel reference-free 验证指标，用于情感丰富的领域，其中准确捕获意见和情感对齐至关重要。这些指标提供了对事实一致性的细粒度、上下文敏感的评估。为促进评估，我们贡献了第一个大规模长篇用户评论数据集，包含每组拥有上千篇评论的实体，配有无偏的专家摘要和手动注释的查询。通过大量实验，我们识别出关键挑战，提供了改进系统的可操作见解，为未来研究指明了方向，并将 OpinioRAG 定位为生成准确、相关且结构化摘要的强大框架。