神经网络可训练性的边界是分形的

某些分形——例如与 Mandelbrot 集和二次 Julia 集相关的分形——是通过迭代一个函数并识别导致所得级数发散或保持有界的超参数之间的边界来计算的。神经网络训练同样涉及迭代更新函数（例如重复的梯度下降步骤），可能导致收敛或发散行为，并且对超参数的微小变化极为敏感。受这些相似性的启发，我们通过实验检验了导致稳定训练和发散训练的神经网络超参数之间的边界。我们发现，在所有测试配置中，该边界在超过十个数量级的尺度上均表现出分形特征。