COLO：一种基于对比学习的一阶段摘要重排序框架
计算与语言
2023-04-20 v2
摘要
传统的抽取式与生成式摘要系统训练范式始终仅使用词级或句级训练目标。然而，输出摘要始终从摘要级进行评估，这导致训练与评估的不一致。本文中，我们提出一种用于一阶段摘要的基于对比学习的重排序框架，称为COLO。通过建模对比目标，我们表明摘要模型能够直接依据摘要级分数生成摘要，而无需额外模块与参数。大量实验表明，COLO在CNN/DailyMail基准上将一阶段系统的抽取式与生成式结果分别提升至44.58与46.33的ROUGE-1分数，同时保持参数效率与推理效率。相较于最先进的多阶段系统，我们节省了超过100个GPU训练小时，并在推理时获得3~8倍的加速比，同时维持可比的结果。
引用
@article{arxiv.2209.14569,
title = {COLO: A Contrastive Learning based Re-ranking Framework for One-Stage Summarization},
author = {Chenxin An and Ming Zhong and Zhiyong Wu and Qin Zhu and Xuanjing Huang and Xipeng Qiu},
journal= {arXiv preprint arXiv:2209.14569},
year = {2023}
}
备注
Accepted by COLING 2022