EcoTransformer：无乘法注意力机制

Xin Gao; Xingming Xu; Shirin Amiraslani; Hong Xu

EcoTransformer：无乘法注意力机制

机器学习 2025-08-07 v2 人工智能计算与语言

作者: Xin Gao , Xingming Xu , Shirin Amiraslani , Hong Xu

摘要

Transformer架构及其缩放点积注意力机制已成为现代AI中的基础架构。然而，这一机制计算密集，造成巨大的能源消耗。我们提出一种新型Transformer架构EcoTransformer，其输出上下文向量通过使用拉普拉斯核对值进行卷积构建，其中距离通过查询与键之间的L1度量来衡量。与基于点积的注意力相比，新的注意力得分计算不涉及矩阵乘法。在NLP、生物信息学和视觉任务中，EcoTransformer的性能与甚至优于缩放点积注意力，同时能耗显著降低。（本版本v2取代v1，反映了预期发布及许可情况。）

关键词

Transformer架构注意力机制能源效率 L1度量拉普拉斯核

引用

@article{arxiv.2507.20096,
  title  = {EcoTransformer: Attention without Multiplication},
  author = {Xin Gao and Xingming Xu and Shirin Amiraslani and Hong Xu},
  journal= {arXiv preprint arXiv:2507.20096},
  year   = {2025}
}

备注

8 pages, 1 figure

EcoTransformer：无乘法注意力机制

摘要

关键词

引用

备注

相关论文