面向观点摘要的高效少样本微调
计算与语言
2022-05-12 v2 人工智能
机器学习
摘要
抽取式摘要模型通常在大量通用文本上预训练,然后在数万至数十万标注样本上微调。然而,在观点摘要中,配参考摘要的评论大规模标注数据集并不可用且创建成本高昂。这要求对小规模数据集过拟合具有鲁棒性的微调方法。此外,通用预训练模型常不习惯客户评论的特性,微调后产生不流畅及语义错误的摘要。为解决这些问题,我们采用基于适配器的有效少样本方法,如我们所展示的,其可轻松存储领域内知识。我们不微调整个模型,而是添加适配器并在大型无标注客户评论语料上以任务特定方式预训练它们,使用留出评论作为伪摘要。然后,在小型可用人工标注数据集上微调适配器。我们表明,这种自监督适配器预训练在 Amazon 和 Yelp 数据集上分别比标准微调在 ROUGE-L 上提高 2.0 和 1.3 分。最后,对于摘要个性化,我们以方面关键词查询为条件,这些查询从通用数据集自动创建。同样,我们以基于查询的方式在客户评论上预训练适配器,然后在标注数据集上微调。这带来了更好组织的摘要内容,体现为连贯性改善与冗余减少。
引用
@article{arxiv.2205.02170,
title = {Efficient Few-Shot Fine-Tuning for Opinion Summarization},
author = {Arthur Bražinskas and Ramesh Nallapati and Mohit Bansal and Markus Dreyer},
journal= {arXiv preprint arXiv:2205.02170},
year = {2022}
}
备注
NAACL Findings 2022