一种等距随机优化器
机器学习
2023-07-25 v1
摘要
Adam 优化器是深度学习应用中的标准选择。我提出对 Adam 成功的一个简单解释：它使每个参数的步长独立于其他参数的范数。基于该原理，我推导出了 Iso，一种使参数更新范数对其输入和输出施加任意线性变换保持不变的新优化器。我开发了 Iso 的一个称为 IsoAdam 的变体，允许将最优超参数从 Adam 迁移过来，并证明 IsoAdam 在训练一个小型 Transformer 时相对 Adam 取得了加速。
引用
@article{arxiv.2307.12979,
title = {An Isometric Stochastic Optimizer},
author = {Jacob Jackson},
journal= {arXiv preprint arXiv:2307.12979},
year = {2023}
}