LOCOST：用于长文档抽象摘要的状态空间模型

Florian Le Bronnec; Song Duong; Mathieu Ravaut; Alexandre Allauzen; Nancy F. Chen; Vincent Guigue; Alberto Lumbreras; Laure Soulier; Patrick Gallinari

LOCOST：用于长文档抽象摘要的状态空间模型

计算与语言 2024-03-26 v3 机器学习

作者: Florian Le Bronnec , Song Duong , Mathieu Ravaut , Alexandre Allauzen , Nancy F. Chen , Vincent Guigue , Alberto Lumbreras , Laure Soulier , Patrick Gallinari

在 arXiv 上查看 ↗ PDF ↗

摘要

状态空间模型是Transformer的一种低复杂度替代方案，用于编码长序列并捕捉长期依赖关系。我们提出了LOCOST：一种基于状态空间模型的编码器-解码器架构，用于具有长上下文输入的条件文本生成。该架构的计算复杂度为 $O(L \log L)$ ，能够处理比基于稀疏注意力模式的最先进模型长得多的序列。我们在一系列长文档抽象摘要任务上评估了我们的模型。该模型达到了与同等规模顶级稀疏Transformer模型93-96%相当的性能水平，同时在训练期间节省高达50%的内存，在推理期间节省高达87%的内存。此外，LOCOST在推理时能有效处理超过600K个token的输入文本，在全书摘要任务上取得了新的最先进结果，并为长输入处理开辟了新的视角。

关键词

状态空间模型长文档摘要抽象摘要编码器-解码器架构长上下文计算复杂度全书摘要

引用

@article{arxiv.2401.17919,
  title  = {LOCOST: State-Space Models for Long Document Abstractive Summarization},
  author = {Florian Le Bronnec and Song Duong and Mathieu Ravaut and Alexandre Allauzen and Nancy F. Chen and Vincent Guigue and Alberto Lumbreras and Laure Soulier and Patrick Gallinari},
  journal= {arXiv preprint arXiv:2401.17919},
  year   = {2024}
}

备注

9 pages, 5 figures, 7 tables, EACL 2024 conference

LOCOST：用于长文档抽象摘要的状态空间模型

摘要

关键词

引用

备注

相关论文