PROM：一种用于抽象摘要的带预训练的短语级拷贝机制
计算与语言
2024-02-29 v2
摘要
基于预训练语言模型在抽象摘要中的卓越成就，拷贝机制已被证明可通过提升事实性、稳定性和整体性能而发挥作用。本工作提出 PROM，一种新颖的短语级拷贝机制（PhRase-level cOpying Mechanism），其增强了对 n-gram 的注意力，可应用于带预训练的零样本摘要。PROM 添加一个指示层以显式选取源文本中可被拷贝的 n-gram 词符，并为拷贝预测计算辅助损失。实证研究表明，PROM 在基准微调上取得显著提升。在零样本设定下，PROM 被用于原始语料上的自监督预训练，并在广泛的摘要数据集上提供新的通用基线。进一步分析表明，PROM 执行更合理的拷贝并有助于忠实性。
引用
@article{arxiv.2305.06647,
title = {PROM: A Phrase-level Copying Mechanism with Pre-training for Abstractive Summarization},
author = {Xinbei Ma and Yeyun Gong and Pengcheng He and Hai Zhao and Nan Duan},
journal= {arXiv preprint arXiv:2305.06647},
year = {2024}
}
备注
Accepted by COLING2024