E$\Delta$-MHC-Geo Transformer：具有保证正交性的自适应测地操作

我们提出了 E$\Delta$-MHC-Geo Transformer，这是一种新颖的架构，它统一了流形约束超连接、深度 Delta 学习 (DDL) 和 Cayley 变换，以获得输入自适应、无条件正交的残差连接。DDL 的 Householder 算子仅在 $\beta \in \{0,2\}$ 时正交，而我们的数据依赖 Cayley 旋转 $Q(x)=(I+(\beta/2)A(x))^{-1}(I-(\beta/2)A(x))$ 对所有 $\beta$ 和所有输入均保持正交。为了处理 Cayley 明确排除的特征值 $-1$ 的取反情况，我们引入了 E$\Delta$-MHC-Geo Hybrid，它通过一个学习到的算子选择门 $X'=\gamma(X)Q(X)X+(1-\gamma(X))H_2(X)X$ 将 Cayley 旋转与 Householder 反射相结合。中点坍缩正则化项 $4\gamma(1-\gamma)$ 鼓励边界门决策，其中每个被选中的组件都是正交的。在参数匹配的比较中（每个模型约 179 万参数，3 个随机种子的平均值 +/- 标准差），与包括并发工作 JPmHC 在内的四个基线相比，E$\Delta$-MHC-Geo 实现了最佳的长程稳定性（比 JPmHC 高 1.9 倍，比 GPT 高 3.8 倍）；最佳近 $\pi$ 旋转损失（在单平面上比 JPmHC 高 4.5 倍）；强范数保持（平均偏差为 0.001）；以及在诊断反射探针中 0.96 的取反余弦对齐度，且所有这些均在层数减少 33% 的情况下达成。虽然 JPmHC 更宽的表示在纯旋转上表现优异，但其有限的 Cayley 残差混合器排除了精确的 $\lambda=-1$ 算子且没有反射分支，这促使我们采用混合方法以访问 $O(n)$ 的两个连通分量。