从高指数类型派生的函子神经网络架构
机器学习
2026-03-18 v1 人工智能
代数拓扑
范畴论
摘要
神经网络在组合性泛化上系统性地失败——对已知部件的新组合产生正确输出。我们表明，这种失败是架构性的：组合性泛化等价于解码器的函子性，这一视角既提供保证，也提供不可能性结果。我们通过从路径群块到参数映射范畴之间的单纯母函子，将 Higher Inductive Type (HIT) 规范编译为神经网络架构：路径构造函数变为生成器网络，组合变为结构性串联，2 单元证明群关系变为学习自然变换。我们证明，通过结构性串联独立生成的片段组装而成的解码器是严格单纯母函子（即按构造实现组合），而 softmax 自注意力对任何非平凡组合任务都不是函子性的。两种结果在 Cubical Agda 中形式化。在三个空间上的实验验证了完整的层次：在 torus (ℤ²) 上，函子解码器相对于非函子解码器提高 2-2.7 倍；在 S¹ ∨ S¹ (F₂) 上，类型 A/B 间的差距扩大到 5.5-10 倍；在 Klein bottle (ℤ ⋊ ℤ) 上，学习的 2 单元在练习群关系的单词上关闭了 46% 的误差间隙。
引用
@article{arxiv.2603.16123,
title = {Functorial Neural Architectures from Higher Inductive Types},
author = {Karen Sargsyan},
journal= {arXiv preprint arXiv:2603.16123},
year = {2026}
}
备注
20 pages, 10 tables. Code and Cubical Agda formalization: https://github.com/karsar/hott_neuro