抑制器：基于 ReLU 与加法的注意力机制以实现环面上全同态加密下高效 Transformer
机器学习
2025-10-02 v2
摘要
为提升量化 Transformer 的计算效率，我们用仅涉及加法和 ReLU 激活的替代机制替换了基于点积和 Softmax 的注意力。这回避了矩阵乘法常需扩展到双精度的问题，并避免了代价高昂的 Softmax 计算，同时保留了传统点积注意力的核心功能。它能够在资源受限硬件或如全同态加密等替代算术系统上实现更高效执行并支持更大的量化 Transformer 模型。在四个常见基准任务上的训练实验显示，测试集预测分数与传统点积注意力 Transformer 相当。我们的缩放实验也表明，无论在明文下还是加密下均有显著计算节省。特别地，我们相信本文所考察的基于 ReLU 与加法的注意力机制，可通过避免加密变量的昂贵乘法，实现在全同态加密下运行的隐私保护 AI 应用。
引用
@article{arxiv.2310.02041,
title = {The Inhibitor: ReLU and Addition-Based Attention for Efficient Transformers under Fully Homomorphic Encryption on the Torus},
author = {Rickard Brännvall and Andrei Stoian},
journal= {arXiv preprint arXiv:2310.02041},
year = {2025}
}
备注
6 pages, 4 tables