面向低资源场景的Mamba-Transformer混合体高效抽取式摘要
计算与语言
2026-03-03 v1
摘要
长文档的抽取式摘要受到二次复杂度的瓶颈，常常迫使截断并限制在资源受限的环境中部署。我们介绍首个Mamba-Transformer混合体用于抽取式摘要，结合预训练Transformer的语义强度与状态空间模型的线性时间处理能力。利用Mamba处理完整文档而无需截断的能力，我们的方法在保持强大的摘要质量的同时保留上下文。该架构包括：（1）用于句子级语义的Transformer编码器，（2）用于高效捕捉跨句依赖关系的Mamba状态空间模型，和（3）用于句子相关性预测的线性分类器。我们在新闻、论证和科学领域的低资源条件下实现了：（1）在ArXiv上获得+0.23 ROUGE-1的显著提升，以及在所有数据集上实现统计显著的改进（p < 0.001）；（2）在各个领域保持一致优势，最长的文档上优势最为显著；（3）在有限训练数据下保持稳健性能；（4）在新闻摘要（CNN/DailyMail）上实现24-27%的推理加速。我们引入首个Transformer状态空间混合架构用于摘要，展示了在低资源场景中显著的ROUGE提升。
关键词
引用
@article{arxiv.2603.01288,
title = {Efficient Extractive Summarization with MAMBA-Transformer Hybrids for Low-Resource Scenarios},
author = {Nisrine Ait Khayi},
journal= {arXiv preprint arXiv:2603.01288},
year = {2026}
}