平均集成模型中的随机镜像下降
机器学习
2022-10-28 v1 偏微分方程分析
最优化与控制
机器学习
摘要
随机镜像下降（SMD）算法是一类通用的训练算法，其中包括著名的随机梯度下降（SGD）作为特例。它利用镜像势来影响训练算法的隐式偏差。在本文中，我们探讨了 SMD 迭代在平均场集成模型上的性能。我们的结果推广了先前在此类模型上针对 SGD 获得的结果。参数分布的演化被映射到概率分布空间中的一个连续时间过程。我们的主要结果给出了一个非线性偏微分方程，该连续时间过程在大网络渐近状态下收敛于此方程。镜像势的影响通过一个乘性项体现，该项等于其 Hessian 矩阵的逆，并可解释为在适当定义的黎曼流形上定义了一个梯度流。我们提供了数值模拟，使我们能够研究和表征镜像势对使用 SMD 训练的网络在某些二分类问题上的性能影响。
引用
@article{arxiv.2210.15323,
title = {Stochastic Mirror Descent in Average Ensemble Models},
author = {Taylan Kargin and Fariborz Salehi and Babak Hassibi},
journal= {arXiv preprint arXiv:2210.15323},
year = {2022}
}