平滑符号下降的镜像下降视角
机器学习
2024-10-21 v1 最优化与控制
摘要
Woodworth等人(2020)的最新研究表明，过参数化问题的梯度下降优化动力学可视为由镜像映射诱导的低维对偶动力学，从而从镜像下降的角度解释了隐式正则化现象。然而，该方法不适用于更新方向偏离真实梯度的算法，如ADAM。我们利用镜像下降框架研究带有稳定性常数的平滑符号下降在回归问题中的动力学。我们提出了一种镜像映射，在某些假设下建立了与对偶动力学的等价性。通过研究对偶动力学，我们将收敛解表征为最小化Bregman散度型函数的近似KKT点，并展示了调整稳定性常数以减小KKT误差的益处。
引用
@article{arxiv.2410.14158,
title = {A Mirror Descent Perspective of Smoothed Sign Descent},
author = {Shuyang Wang and Diego Klabjan},
journal= {arXiv preprint arXiv:2410.14158},
year = {2024}
}