重要性权重感知更新的隐式解释
机器学习
2023-07-25 v1
摘要
由于其速度与简洁性,次梯度下降是凸机器学习算法中最常用的优化算法之一。然而,调其学习率可能是其取得稳定良好性能的最严重瓶颈。降低对学习率依赖的一种常见方式是使用隐式/近端更新。此类变体之一为重要性权重感知(IWA)更新,其由对每个损失函数的无穷多无穷小更新组成。然而,IWA更新的经验成功并未被其理论完全解释。本文首次证明,在在线学习设定下IWA更新具有比普通梯度更新更严格的后悔上界。我们的分析基于新框架——广义隐式跟随正则化领导者(FTRL)(Chen and Orabona, 2023),利用对偶形式分析广义隐式更新。特别地,我们的结果意味着IWA更新可被视为近似隐式/近端更新。
引用
@article{arxiv.2307.11955,
title = {Implicit Interpretation of Importance Weight Aware Updates},
author = {Keyi Chen and Francesco Orabona},
journal= {arXiv preprint arXiv:2307.11955},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2306.00201