基于物理学的过拟合控制

虽然有许多关于机器学习应用的工作，但很少有工作试图通过理论论证来解释其效率。在本工作中，我们利用物理学和生物学的类比来解释机器学习中的过拟合控制（泛化特性）。对于随机梯度朗之万动力学，我们证明了动力学理论的 Eyring 公式可以在算法稳定性方法中控制过拟合——当风险函数的宽极小值对应低自由能时，对应低过拟合。对于生成对抗网络（GAN）模型，我们建立了 GAN 与生物学中捕食者-猎物模型之间的类比。该类比的应用使我们能够解释 GAN 中宽似然极大值的选择和过拟合的降低。