具有低能耗操作的注意力机制
计算与语言
2022-10-20 v1
摘要
注意力机制已成为自然语言处理模型中的主导模块。它计算密集且依赖大量耗电的乘法。在本文中，我们从能耗角度重新思考注意力机制的变体。在得出若干低能耗操作的能量开销远小于其乘法对应操作的结论后，我们通过用选择性操作或加法替代乘法，构建了一种新颖的注意力模型。在三个机器翻译任务上的实证结果表明，与原始模型相比，所提模型在保持相当精度的同时，在对齐计算和整个注意力过程中分别节省了 99% 和 66% 的能量。代码见：https://github.com/NLP2CT/E-Att。
引用
@article{arxiv.2204.13353,
title = {Attention Mechanism with Energy-Friendly Operations},
author = {Yu Wan and Baosong Yang and Dayiheng Liu and Rong Xiao and Derek F. Wong and Haibo Zhang and Boxing Chen and Lidia S. Chao},
journal= {arXiv preprint arXiv:2204.13353},
year = {2022}
}
备注
Findings@ACL2022