商数几何、有效曲率与简单浅层神经网络中的隐式偏差
机器学习
2026-03-24 v1 人工智能
摘要
超参数浅层神经网络容纳显著的参数冗余: 由于隐藏单元的置换、尺度变换及相关对称性, distinct 参数向量可能表示相同的预测器。因此,直接在环境欧几里得参数空间中计算的几何量可能反映表示 artifacts 而非预测器的内在属性。在本文中,我们通过对正则浅层网络参数施行参数对称性并获得的商空间,构建了一个用于分析简单浅层网络的微分几何框架。我们首先描述了正则浅层网络参数的对称性和商结构,并证明有限样本实现映射在商流形上诱导出自然度量。这导致一种有效的曲率概念,消除沿对称轨道的退化,并产生捕获内在局部几何的对称约化 Hessian。我们随后研究商上的梯度流,并证明只有参数运动的水平分量才贡献于一阶预测器演变,而垂直分量纯粹对应于规范变分。最后,我们在商层面构建隐式偏差观点,认为应将对预测器类的复杂度进行有意义的分配,而非针对单个参数代表。我们的实验确认,环境平坦性是表示依赖的,局部动力学更组织化的商级曲率概述,以及在欠确定时,隐式偏差最自然地以商坐标描述。
引用
@article{arxiv.2603.21502,
title = {Quotient Geometry, Effective Curvature, and Implicit Bias in Simple Shallow Neural Networks},
author = {Hang-Cheng Dong and Pengcheng Cheng},
journal= {arXiv preprint arXiv:2603.21502},
year = {2026}
}