神经网络优化中的非确定性与不稳定性

神经网络优化中的非确定主义会产生性能上的不确定性，使得微小的改进难以与多次运行间的变异性区分开来。虽然通过训练多个模型副本可以降低不确定性，但这样做耗时、昂贵，并且损害可复现性。在这项工作中，我们建立了一个实验协议，用于理解优化非确定主义对模型多样性的影响，使我们能够隔离各种非确定主义来源的影响。令人惊讶的是，我们发现所有非确定主义来源对模型多样性度量具有相似的影响。为了解释这一有趣的事实，我们确定了模型训练的不稳定性（作为一个端到端过程来看）是关键决定因素。我们表明，即使初始参数发生一位的变化，也会导致模型收敛到截然不同的数值。最后，我们提出了两种方法来减少不稳定性对多次运行间变异性的影响。