Poolingformer：基于池化注意力的长文档建模
计算与语言
2022-10-25 v2
摘要
本文提出一种用于长文档建模的两级注意力架构 Poolingformer。其第一级采用较小的滑动窗口模式从邻域聚合信息；第二级使用更大的窗口，通过池化注意力扩大感受野，从而降低计算成本和内存消耗。我们首先在两个长序列问答任务上评估 Poolingformer：单语 NQ 和多语 TyDi QA。实验结果表明，以 F1 衡量的三个官方排行榜上 Poolingformer 均居首，在 NQ 长答案上以 1.9 分（79.8 对比 77.9）超越先前最优模型，在 TyDi QA 段落答案上以 1.9 分（79.5 对比 77.6）超越，在 TyDi QA 最小答案上以 1.6 分（67.6 对比 66.0）超越。我们进一步在长序列摘要任务上评估 Poolingformer。在 arXiv 基准上的实验结果持续展示了其优越性能。
引用
@article{arxiv.2105.04371,
title = {Poolingformer: Long Document Modeling with Pooling Attention},
author = {Hang Zhang and Yeyun Gong and Yelong Shen and Weisheng Li and Jiancheng Lv and Nan Duan and Weizhu Chen},
journal= {arXiv preprint arXiv:2105.04371},
year = {2022}
}
备注
Accepted by ICML 2021