RT-Transformer：将Transformer模块重构为球面状态估计器
机器学习
2026-05-13 v1 人工智能
摘要
我们表明，Transformer模块的核心组件——注意力机制、残差连接和归一化——自然地来源于单个几何估计问题。通过将潜在状态建模为球面上的方向，并将噪声定义在当前估计处的切平面上，可得到精度加权的方向推断程序，其中注意力机制聚合证据，残差连接实现增量状态更新，归一化将更新后的状态投影回球面。这些组件完全基于估计问题的几何特性，而非作为独立的架构选择。
关键词
引用
@article{arxiv.2605.11007,
title = {RT-Transformer: The Transformer Block as a Spherical State Estimator},
author = {Peter Racioppo},
journal= {arXiv preprint arXiv:2605.11007},
year = {2026}
}