指数梯度遇上梯度下降
机器学习
2019-02-07 v1 最优化与控制
机器学习
摘要
(随机)梯度下降与乘性更新方法大概是机器学习中最流行的算法。我们引入并研究了一种新的正则化方法，它统一了加性更新与乘性更新。该正则化源于熵函数的双曲类比，我们称之为双曲熵(hypentropy)。其动机是将乘性更新自然推广到负数。双曲熵具有自然的谱对应形式，我们借此导出了一系列基于矩阵的更新，在矩阵的梯度方法与乘性方法之间架起桥梁。后者仅适用于半正定矩阵，而谱双曲熵方法可自然用于一般矩形矩阵。我们通过推导紧致后悔界来分析这一新更新族。我们在多类学习等参数构成一般矩形矩阵的设置中实证研究了该新更新的适用性。
引用
@article{arxiv.1902.01903,
title = {Exponentiated Gradient Meets Gradient Descent},
author = {Udaya Ghai and Elad Hazan and Yoram Singer},
journal= {arXiv preprint arXiv:1902.01903},
year = {2019}
}