重新思考基于变换器的多文档摘要：实证研究
计算与语言
2024-07-17 v1 人工智能
摘要
基于变换器的模型推动了多文档摘要（MDS）的发展。鉴于变换器在各种自然语言处理任务中产生的巨大影响和广泛采用，调查它们在 MDS 语境中的性能和行为变得至关重要，以推动该领域的发展并提高摘要质量。为了全面考察基于变换器的 MDS 模型的行为，本文提出了五项实证研究：（1）定量衡量文档边界分隔符的影响；（2）探讨不同主流变换器结构的有效性；（3）检验编码器和解码器的敏感性；（4）讨论不同的训练策略；（5）发现生成摘要中的重复问题。在流行的 MDS 数据集和十一项评估指标上的实验结果显示，文档边界分隔符的影响、不同层次特征的粒度以及不同模型训练策略的影响。结果还表明，解码器对噪声的敏感性大于编码器。这凸显了解码器的重要作用，表明该领域的未来研究方向。此外，实验结果表明，生成摘要中的重复问题与高不确定性得分相关。
引用
@article{arxiv.2407.11948,
title = {Rethinking Transformer-based Multi-document Summarization: An Empirical Investigation},
author = {Congbo Ma and Wei Emma Zhang and Dileepa Pitawela and Haojie Zhuang and Yanfeng Shu},
journal= {arXiv preprint arXiv:2407.11948},
year = {2024}
}