倾斜竞技场：机器学习中的动态损失函数
机器学习
2021-06-24 v3 软凝聚态物质
机器学习
摘要
我们表明，通过使用在训练过程中循环演化、每次强调一个类别的损失函数，可以改善学习。在欠参数化网络中，此类动态损失函数可使那些无法找到标准交叉熵损失的深层极小值的网络成功训练。在过参数化网络中，动态损失函数可带来更好的泛化能力。改进源于不断变化的损失景观与系统为最小化损失而演化的动力学之间的相互作用。特别地，随着损失函数振荡，以分岔级联形式的不稳定性会出现，我们使用 Hessian 矩阵与神经正切核对其进行了研究。景观中的谷地在损失景观随周期变化时会变宽变深，随后变窄升高。随着景观变窄，学习率变得过大，网络变得不稳定并在谷地附近弹跳。该过程最终将系统推入损失景观中更深更宽的区域，其特征是 Hessian 矩阵的特征值递减。这导致了具有更好正则化与改进泛化性能的模型。
引用
@article{arxiv.2102.03793,
title = {Tilting the playing field: Dynamical loss functions for machine learning},
author = {Miguel Ruiz-Garcia and Ge Zhang and Samuel S. Schoenholz and Andrea J. Liu},
journal= {arXiv preprint arXiv:2102.03793},
year = {2021}
}