U(d) 子群诱导的自然 RNN 与 Transformer 架构
机器学习
2026-02-23 v1 计算与语言
摘要
本文提出一种针对隐藏状态位于 U(d) 闭子群上的序列模型的直接框架。我们采用最小化的公理化设置，从中派生出在子群选择作为状态空间、切向投影和更新映射可替换组件的 drop-in replacement 框架中，RNN 和 Transformer 模板。随后我们聚焦于 O(d)，并在 Tiny Shakespeare 和 Penn Treebank 上进行参数匹配设置下的正交状态 RNN 和 Transformer 模型评估。我们还报告了一种通用的线性混合扩展（linear-mixing extension in tangent space），该扩展适用于所有子群选择，并在当前 O(d) 实验中提升有限预算下的性能。
引用
@article{arxiv.2602.18417,
title = {Subgroups of $U(d)$ Induce Natural RNN and Transformer Architectures},
author = {Joshua Nunley},
journal= {arXiv preprint arXiv:2602.18417},
year = {2026}
}
备注
12 pages, 3 figures, 8 tables