浅层 MLP 中的自发 Kolmogorov-Arnold 几何

Kolmogorov-Arnold（KA）表示定理在单个（非线性）隐藏层神经网络中构造了通用但高度非光滑的内部函数（第一层映射）。此类通用函数具有独特的局部几何，一种“纹理”，可通过内部函数的雅可比矩阵 $J({\mathbf{x}})$ 在 $\mathbf{x}$ 遍历数据变化时来表征。自然要问，这种独特的 KA 几何是否通过常规神经网络优化产生。我们发现，KA 几何确实常在训练原始单隐藏层神经网络时产生。我们通过 $J(\mathbf{x})$ 外幂的统计性质来量化 KA 几何：$J(\mathbf{x})$ 的零行数与子式统计的各种观测量，它们度量 $J(\mathbf{x})$ 的尺度与轴对齐。这导致对 KA 几何在函数复杂性与模型超参数空间中出现位置的粗略理解。其动机首先是理解神经网络如何有机地学习准备输入数据以供后续下游处理，其次是充分了解 KA 几何的出现以通过网络超参数的及时干预来加速学习。本研究是 KA 网络（KAN）的“反面”。我们不将 KA 工程化到神经网络中，而是观察 KA 在浅层 MLP 中的自发出现。