Extract-and-Abstract：统一编码解码框架内的抽取与抽象总结
计算与语言
2025-08-11 v2
摘要
抽取后抽象是一种自然一致的范式，通过抽取模型识别的关键信息来实现抽象总结。以往采用该范式的工作训练抽取器和抽象器分离，并引入额外参数来突出显示抽取的关键信息，以帮助抽象器，这导致误差累积和额外的训练成本。本文首先在编码解码框架中引入无参数的突出显示方法：将编码器注意力掩码替换为跨注意力模块中的显著性掩码，以强制解码器仅关注输入的关键部分。我们进行的初步分析比较了不同的方法，证明了显著性掩码的有效性。我们进一步提出了新的抽取-抽象范式，即 ExtAbs。该范式在单个编码解码模型中联合且无缝地执行抽取和抽象总结任务，以减少误差累积。在 ExtAbs 中，vanilla 编码器被增强以执行抽取，vanilla 解码器被修改为使用所提出的显著性掩码生成总结。基于 BART 和 PEGASUS，在三个数据集上进行实验表明，ExtAbs 在抽取任务上优于基线方法，在抽象任务上表现与 vanilla 模型相当，甚至更好。
引用
@article{arxiv.2409.11827,
title = {Extract-and-Abstract: Unifying Extractive and Abstractive Summarization within Single Encoder-Decoder Framework},
author = {Yuping Wu and Hao Li and Goran Nenadic and Xiao-Jun Zeng},
journal= {arXiv preprint arXiv:2409.11827},
year = {2025}
}