利用可训练表示池化稀疏化 Transformer 模型

我们提出一种新颖方法，通过在训练过程中学习选择最具信息量的词元表示来稀疏化 Transformer 模型中的注意力，从而聚焦于输入中特定于任务的部分。由于鲁棒的可训练 top-$k$ 算子，二次时间和内存复杂度降低至亚线性。我们在具有挑战性的长文档摘要任务上的实验表明，即便我们简单的基线也与当前 SOTA 相当，而通过可训练池化，我们能在保持顶尖质量的同时，训练速度提升 $1.8\times$，推理速度提升 $4.5\times$，解码器计算效率最高提升 $13\times$。