大模型、小模型还是两者兼用：一种基于语言模型去偏观点摘要的新型数据增强框架
计算与语言
2025-03-04 v2 人工智能
摘要
由于现有观点摘要数据集中超过 70% 的评论是正面的，当前的观点摘要方法在给定负面文本输入时不愿生成负面摘要。为了解决这种情感偏差，一种不过度依赖特定框架的直接方法是基于大语言模型生成额外数据，以平衡数据集的情感分布。然而，基于大语言模型的数据增强面临两个缺点：1）增强数据中潜在的问题或毒性；2）高昂的成本。因此，在本文中，我们提出了一种结合大语言模型和小语言模型的新型数据增强框架，用于去偏观点摘要。具体而言，通过大语言模型重写正面文本，获得少量合成的负面评论。然后，基于生成的数据训练一个解耦重建模型。训练完成后，通过解码由不同样本表示组合而成的新表示，并基于困惑度和情感分类进行过滤，可以获得大量合成数据。实验证明，我们的框架能够像仅使用大模型一样有效缓解情感偏差，但更经济。
引用
@article{arxiv.2403.07693,
title = {Large, Small or Both: A Novel Data Augmentation Framework Based on Language Models for Debiasing Opinion Summarization},
author = {Yanyue Zhang and Pengfei Li and Yilong Lai and Deyu Zhou and Yulan He},
journal= {arXiv preprint arXiv:2403.07693},
year = {2025}
}