TAdam：一种鲁棒的随机梯度优化器
机器学习
2020-03-04 v2 机器学习
摘要
机器学习算法旨在从观测中发现模式，这些观测可能包含一些噪声，尤其在机器人领域。为了即便在此类噪声下也能表现良好，我们期望它们能够检测离群值并在需要时将其丢弃。因此我们提出一种新的随机梯度优化方法，其鲁棒性直接构建于算法内部，以鲁棒的 student-t 分布为核心思想。流行的优化方法 Adam 经我们的方法修改后，所得优化器称为 TAdam，被证明在从回归、分类到强化学习问题的多种任务上，针对噪声的鲁棒性有效优于 Adam。我们的算法实现可在 https://github.com/Mahoumaru/TAdam.git 找到。
引用
@article{arxiv.2003.00179,
title = {TAdam: A Robust Stochastic Gradient Optimizer},
author = {Wendyam Eric Lionel Ilboudo and Taisuke Kobayashi and Kenji Sugimoto},
journal= {arXiv preprint arXiv:2003.00179},
year = {2020}
}
备注
9 pages