人工神经网络解空间的采样

利用统计力学的工具，可以系统地探索人工神经网络的权重空间。我们采用混合 Monte Carlo 算法（执行长探索步长）、基于棘轮的算法（研究连通性路径）以及耦合副本模型模拟（研究次主导平坦区域）相结合的方法。我们的分析聚焦于单隐藏层网络，涵盖了一系列能量水平和约束密度区域。在插值阈值附近，低能流形呈现尖峰拓扑。然而，在过参数化区域，低能流形变得完全平坦，形成易于采样的扩展复杂结构。这些数值结果得到了训练误差景观解析研究的支持，并且我们在数值上证明了损失景观的定性特征在不同数据结构下均具有鲁棒性。本研究旨在为开发适用于大型网络的可扩展方法提供新的方法论见解。