变分学习在稳定边缘找到更平坦的解
机器学习
2025-10-28 v3 机器学习
摘要
变分学习（VL）最近因训练深度神经网络而备受关注。其部分实证成功可以用 PAC-Bayes 界、最小描述长度和边际似然等理论解释，但对隐式正则化的探讨仍较少。本文通过 Edge of Stability（EoS）框架分析 VL 的隐式正则化。EoS 此前被用于表明梯度下降可找到平坦解，我们的研究延续该结果，表明 VL 能找到更平坦的解。通过控制变分后验的形状以及训练期间使用的后验样本数来实现这一结果。该推导类似于标准 EoS 文献中针对深度学习的推导：首先针对二次问题给出结果，再推广至深度神经网络。我们在各种大型网络上进行实证验证，包括 ResNet 和 ViT，发现理论结果与实证结果高度吻合。本文是首次分析 VL 的 EoS 动力学。
关键词
引用
@article{arxiv.2506.12903,
title = {Variational Learning Finds Flatter Solutions at the Edge of Stability},
author = {Avrajit Ghosh and Bai Cong and Rio Yokota and Saiprasad Ravishankar and Rongrong Wang and Molei Tao and Mohammad Emtiyaz Khan and Thomas Möllenhoff},
journal= {arXiv preprint arXiv:2506.12903},
year = {2025}
}