神经网络的全局景观：综述

神经网络训练的主要关注点之一在于，相关损失函数的非凸性可能导致不良的景观。神经网络近期的成功表明其损失景观并非太差，但我们对景观具体了解哪些结果？本文综述了关于神经网络全局景观的最新发现与结果。首先，我们指出宽神经网络在特定假设下可能存在次优局部极小值。其次，我们讨论了关于宽网络几何性质的若干严格结果，例如“无坏盆地”，以及一些消除次优局部极小值和/或通向无穷远的递减路径的修改。第三，我们讨论了实际神经网络景观的可视化与经验探索。最后，我们简要讨论了一些收敛性结果及其与景观结果的关系。