注意力机制的快速蒙特卡洛近似
机器学习
2022-02-01 v1 人工智能
摘要
我们提出蒙特卡洛注意力(MCA),一种用于降低 Transformer 架构中自注意力机制计算成本的随机近似方法。MCA 利用了输入序列中每个词元的重要性随其注意力分数变化这一事实;因此,在对低注意力词元进行编码时,某种程度的误差是可容忍的。利用近似矩阵乘法,MCA 施加不同的误差界来编码输入词元,使得低注意力分数的词元以宽松精度计算,而显著元素的误差被最小化。MCA 可与其他注意力优化方案并行运作且不需要修改模型。我们研究了理论误差界,并证明 MCA 在 GLUE 基准测试中为多种 Transformer 模型将注意力复杂度(以 FLOPS 计)降低多达 11 而不损害模型精度。
引用
@article{arxiv.2201.12854,
title = {Fast Monte-Carlo Approximation of the Attention Mechanism},
author = {Hyunjun Kim and JeongGil Ko},
journal= {arXiv preprint arXiv:2201.12854},
year = {2022}
}
备注
AAAI 2022