基于 XL-OPSUMM 的增量意见概括
计算与语言
2024-06-18 v1 机器学习
摘要
电商平台上的意见概括基于大量用户的评论来概括有关产品的集体观点。典型情况下，电商平台上的一个产品有数千条评论，每条评论大约包含10-15个单词。尽管大型语言模型在概括任务中显示出色，但它们在处理如此大的评论量时会受到上下文限制的制约。为缓解这一问题，我们提出了一个可扩展框架Xl-OpSumm 用于增量生成概括。然而，现有的测试集 AMASUM 每个产品平均只有560条评论。由于缺乏包含数千条评论的测试集，我们通过收集 Flipkart 网站的数据并使用 GPT-4 生成概括，创建了一个新的测试集Xl-Flipkart。通过各种自动评估和广泛分析，我们评估了该框架在两个数据集上的效率。实验结果表明，我们的框架Xl-OpSumm 由 Llama-3-8B-8k 提供动力，对比下一个表现最好的模型，ROUGE-1 F1 提升平均为4.38%，ROUGE-L F1 提升为3.70%。
引用
@article{arxiv.2406.10886,
title = {Distilling Opinions at Scale: Incremental Opinion Summarization using XL-OPSUMM},
author = {Sri Raghava Muddu and Rupasai Rangaraju and Tejpalsingh Siledar and Swaroop Nath and Pushpak Bhattacharyya and Swaprava Nath and Suman Banerjee and Amey Patil and Muthusamy Chelliah and Sudhanshu Shekhar Singh and Nikesh Garera},
journal= {arXiv preprint arXiv:2406.10886},
year = {2024}
}