第二矩指数缩放优化器在视觉任务中的统一平衡理论
机器学习
2024-05-30 v1 计算机视觉与模式识别
摘要
我们发现了一种通过可变第二矩指数缩放 (Second-Moment Exponential Scaling, SMES) 统一一阶优化器的方法。我们从反向传播开始，解决梯度消失与爆炸等经典现象，以及数据稀疏性问题，引入优化中的平衡理论。通过该理论，我们提出 SGD 和自适应优化器可在更广泛的推理下统一，运用可变移动指数缩放实现一阶优化器普遍公式中的平衡方法。我们在一些经典数据集和网络上进行测试，以确认不同平衡系数对整体训练过程的影响。
引用
@article{arxiv.2405.18498,
title = {The Unified Balance Theory of Second-Moment Exponential Scaling Optimizers in Visual Tasks},
author = {Gongyue Zhang and Honghai Liu},
journal= {arXiv preprint arXiv:2405.18498},
year = {2024}
}