Skim-Attention：基于文档版式的学习聚焦机制
计算与语言
2021-09-03 v1
摘要
基于Transformer的文本与版式预训练技术已在多项文档理解任务中被证明有效。尽管取得成功，多模态预训练模型仍面临极高的计算与内存开销。受人类阅读策略启发，本文提出Skim-Attention，一种利用文档结构及其版式的新型注意力机制。Skim-Attention仅关注文档中词的二维位置。实验表明，Skim-Attention在取得比先前工作更低困惑度的同时计算更高效。Skim-Attention可进一步与长程Transformer结合以高效处理长文档。我们还展示了Skim-Attention如何作为现成掩码用于任意预训练语言模型(Pre-trained Language Model)，在限制注意力的同时提升其性能。最后，我们展示了Skim-Attention中涌现出的文档结构表示。
引用
@article{arxiv.2109.01078,
title = {Skim-Attention: Learning to Focus via Document Layout},
author = {Laura Nguyen and Thomas Scialom and Jacopo Staiano and Benjamin Piwowarski},
journal= {arXiv preprint arXiv:2109.01078},
year = {2021}
}
备注
15 pages, 6 figures, to be published in EMNLP 2021 Findings