MirrorLA：基于反射特征图的视觉线性注意力
机器学习
2026-02-05 v1
摘要
线性注意力显著降低了Transformer的计算复杂度从二次到线性，但始终落后于基于softmax的注意力。我们识别了这种性能下降的根本原因是核特征图上引入的非负性约束：标准投影（如ReLU）充当“被动截断”算子，无差别地丢弃负域中包含语义信息。我们提出MirrorLA，一种几何框架，用主动重新定向取代被动截断。通过利用可学习的Householder反射，MirrorLA将特征几何旋转到非负象限以最大化信息保留。我们的 метод 通过一种统一、多尺度的设计来恢复表示密度：首先通过块状等距变换优化局部判别性，通过方差感知调制稳定长程上下文动态，使激活更具多样性，最后通过跨头反射将分散的子空间整合，以诱导全局协方差混合。MirrorLA 在标准基准测试上实现了最新成果，表明严格的线性效率可以在不牺牲表示保真度的情况下实现。
引用
@article{arxiv.2602.04346,
title = {MirrorLA: Reflecting Feature Map for Vision Linear Attention},
author = {Weikang Meng and Liangyu Huo and Yadan Luo and Yaowei Wang and Yingjian Li and Zheng Zhang},
journal= {arXiv preprint arXiv:2602.04346},
year = {2026}
}