尺度无关的柯尔莫戈-阿尔诺几何结构在神经网络中的表现
机器学习
2025-12-17 v3 人工智能
摘要
Freedman 和 Mulligan 最近的工作表明，浅层多层感知器在对合成三维任务进行训练时会自发发展出柯尔莫戈-阿尔诺几何(KAG)结构。然而，人们仍不清楚这种现象在现实的高维环境中是否持续存在，以及这种几何结构具有什么空间属性。我们将 KAG 分析扩展到 MNIST 手写数字分类(784 维)上，使用 2 层 MLP 并在多个尺度上进行系统的空间分析。我们发现，KAG 在训练过程中会出现，并且在空间尺度上保持一致，从局部的 7 像素邻域到整个 28x28 图像。这种尺度无关特性适用于不同的训练程序：无论是标准训练还是采用空间增强训练，都产生相同的定性模式。这些发现表明，神经网络在学习现实的高维数据时会自发发展出有组织且尺度不变的几何结构。
引用
@article{arxiv.2511.21626,
title = {Scale-Agnostic Kolmogorov-Arnold Geometry in Neural Networks},
author = {Mathew Vanherreweghe and Michael H. Freedman and Keith M. Adams},
journal= {arXiv preprint arXiv:2511.21626},
year = {2025}
}