超越位置：Transformer 中小波性质的出现
机器学习
2025-06-06 v4 人工智能
摘要
本文研究了带有旋转位置编码(RoPE)的 Transformer 模型如何发展出类似小波的涌现性质，以补偿位置编码的理论局限性。通过跨模型规模、架构和训练检查点的分析，我们展示了注意力头如何演化以实现类似于小波变换的多分辨率处理。我们证明了这种尺度不变行为是 RoPE 独有的，在训练过程中通过不同的演化阶段出现，并且在统计上遵循基本的不确定性原理。我们的发现表明，现代 Transformer 的有效性源于它们自发发展出最优多分辨率分解以解决固有架构约束的卓越能力。
引用
@article{arxiv.2410.18067,
title = {Beyond Position: the emergence of wavelet-like properties in Transformers},
author = {Valeria Ruscio and Umberto Nanni and Fabrizio Silvestri},
journal= {arXiv preprint arXiv:2410.18067},
year = {2025}
}