使用BRIO训练范式的抽取式文本摘要
计算与语言
2023-09-01 v1
摘要
抽取式摘要模型生成的摘要句可能连贯且全面,但缺乏控制并严重依赖参考摘要。BRIO训练范式假设非确定性分布,以减少模型对参考摘要的依赖,并提升推理时的模型性能。本文提出了一种简单而有效的技术,通过微调预训练语言模型并使用BRIO范式训练来改进抽取式摘要。我们构建了一个名为VieSum的越南语文本摘要数据集。我们在CNNDM和VieSum数据集上使用BRIO范式训练的抽取式摘要模型进行实验。结果表明,这些在基础硬件上训练的模型优于所有现有的抽取式摘要模型,尤其是针对越南语。
引用
@article{arxiv.2305.13696,
title = {Abstractive Text Summarization Using the BRIO Training Paradigm},
author = {Khang Nhut Lam and Thieu Gia Doan and Khang Thua Pham and Jugal Kalita},
journal= {arXiv preprint arXiv:2305.13696},
year = {2023}
}
备注
6 pages, Findings of the Association for Computational Linguistics: ACL 2023