CoLT5：基于条件计算的更快长程 Transformer
计算与语言
2023-10-25 v3 机器学习
摘要
许多自然语言处理任务受益于长输入，但使用 Transformer 处理长文档代价高昂——不仅因为二次注意力复杂度，还因为对每一个词元应用前馈与投影层。然而，并非所有词元都同等重要，尤其对于较长文档。我们提出 CoLT5，一种长输入 Transformer 模型，它基于这一直觉，通过采用条件计算，在前馈与注意力层中将更多资源分配给重要词元。我们展示 CoLT5 以远快于 LongT5 的训练与推理取得了更强性能，在长输入 SCROLLS 基准上达到 SOTA。此外，CoLT5 能有效且可行地利用极长输入，在最长达 64k 输入长度上显示出强劲增益。
引用
@article{arxiv.2303.09752,
title = {CoLT5: Faster Long-Range Transformers with Conditional Computation},
author = {Joshua Ainslie and Tao Lei and Michiel de Jong and Santiago Ontañón and Siddhartha Brahma and Yury Zemlyanskiy and David Uthus and Mandy Guo and James Lee-Thorp and Yi Tay and Yun-Hsuan Sung and Sumit Sanghai},
journal= {arXiv preprint arXiv:2303.09752},
year = {2023}
}
备注
Accepted at EMNLP 2023