变形器层与幂方法之间的类比
机器学习
2026-05-26 v1
摘要
本文展示了变形器 (transformer) 层中发生的运算（投影和层归一化，忽略前馈神经网络）与幂方法中的一步运算之间存在类比。根据这一类比，我们展示，经过变形器层的 token 倾向于被倾斜至该层输出权重矩阵与值权重矩阵之积的主特征向量上。在变形器共享权重（即所有层具有相同权重）的特殊情况下，与该主特征向量的对齐尤为明显，经验上也可被证明分析。该类比还表明一种方法，可将变形器的输出引导至 token 空间中任意期望方向。
引用
@article{arxiv.2605.25619,
title = {Analogies between Transformer Layers and Power Method},
author = {Chenglong Li and Claudio Altafini},
journal= {arXiv preprint arXiv:2605.25619},
year = {2026}
}