无需微调基于 Transformer 的预训练模型生成查询聚焦摘要
计算与语言
2023-03-14 v1
摘要
为每个新数据集微调自然语言处理（NLP）模型需要更高的计算时间，并伴随碳足迹与成本的增加。然而，微调有助于预训练模型适应最新数据集；如果我们避开微调步骤，仅尝试使用预训练模型生成摘要以减少计算时间和成本会怎样。本文中，我们试图省略微调步骤，并研究基于边际最大相关（MMR）的方法是否能够帮助预训练模型直接从未用于预训练模型的新数据集中获取查询聚焦摘要。首先，我们在 Wikipedia Current Events Portal (WCEP) 和 Debatepedia 数据集上使用主题建模生成用于摘要任务的查询。然后，利用 MMR，我们根据查询对文档句子进行排序。接下来，我们将排序后的句子传入七个基于 transformer 的预训练模型以执行摘要任务。最后，我们再次使用 MMR 方法从各个预训练模型生成的摘要中选取与查询相关的句子，并构建最终摘要。实验结果表明，我们基于 MMR 的方法成功地对最相关句子进行排序并选为摘要，且表现出优于单个预训练模型的性能。
引用
@article{arxiv.2303.06230,
title = {Generating Query Focused Summaries without Fine-tuning the Transformer-based Pre-trained Models},
author = {Deen Abdullah and Shamanth Nayak and Gandharv Suri and Yllias Chali},
journal= {arXiv preprint arXiv:2303.06230},
year = {2023}
}