AdaTerm：用于噪声鲁棒随机梯度优化的自适应 t 分布估计稳健矩方法
机器学习
2023-08-30 v4
摘要
随着深度学习应用实用性的增强，从业者不可避免地面临受各类噪声污染的数据集，如测量误差、错误标注以及估计的替代输入/输出，这些会对优化结果产生不利影响。由于优化算法最终负责更新网络参数，改进其对噪声的鲁棒性是常见做法。先前研究揭示，Adam 类随机梯度下降优化器中使用的二阶矩可基于 Student's t 分布进行修改。尽管该修改带来了抗噪声更新，其他相关统计量保持不变，导致所假设模型的不一致。本文中，我们提出 AdaTerm，一种将 Student's t 分布用于推导一阶矩及所有相关统计量的新方法。这提供了对优化过程的统一处理，首次在 t 分布的统计模型下给出了综合框架。所提方法相较先前方法具有多项优势，包括超参数减少、鲁棒性与适应性提升。该噪声自适应特性促成了 AdaTerm 卓越的学习表现，如在不同和/或未知噪声比下的多种优化问题所展示。此外，我们引入了一种不依赖 AMSGrad 推导理论 regret bound 的新技术，为该领域提供了宝贵贡献。
引用
@article{arxiv.2201.06714,
title = {AdaTerm: Adaptive T-Distribution Estimated Robust Moments for Noise-Robust Stochastic Gradient Optimization},
author = {Wendyam Eric Lionel Ilboudo and Taisuke Kobayashi and Takamitsu Matsubara},
journal= {arXiv preprint arXiv:2201.06714},
year = {2023}
}
备注
27 pages; Final version accepted by Elsevier Neurocomputing Journal (2023-08; https://doi.org/10.1016/j.neucom.2023.126692)