神经网络损失景观的大尺度结构

深度神经网络的优化具有许多令人惊讶且可能反直觉的特性。我们提出并实验验证了一个统一的损失景观现象学模型，该模型包含了其中的许多特性。高维度在我们的模型中起着关键作用。我们的核心思想是将损失景观建模为一组高维楔形体（wedges），它们共同构成一个大尺度的互联结构，优化过程被吸引向这些结构。我们首先表明，学习率、网络宽度和$L_2$正则化等超参数选择以相似的方式影响优化器在景观中经过的路径，影响优化器所探索区域的大尺度曲率。最后，我们预测并展示了损失景观新的反直觉特性。我们展示了连接一组（不仅是成对）解的低位损失子空间的存在，并进行了实验验证。最后，我们根据我们的模型分析了近期流行的深度网络集成技术。