带隐式更新的正则对偶平均与镜像下降的统一视角
机器学习
2011-09-21 v2
摘要
我们研究了三类在线凸优化算法：近端跟随正则化领导(FTRL-Proximal)、正则对偶平均(RDA)和复合目标镜像下降。我们首先证明了等价性定理，表明所有这些算法都是通用FTRL更新的实例。这为之前的实验观察提供了理论洞见。特别地，尽管FOBOS复合镜像下降算法显式处理L1正则化，但已有观察表明RDA在产生稀疏性方面更为有效。我们的结果表明，FOBOS使用来自前几轮的L1惩罚的次梯度近似，导致稀疏性低于RDA，后者以闭式处理累积惩罚。FTRL-Proximal算法可被视为这两者的混合，并在一个大型真实世界数据集上优于两者。我们的第二个贡献是一个统一分析，其产生的遗憾界匹配（至多对数项）或改进了先前已知的最佳界。该分析还以两种重要方式扩展了这些算法：我们支持更一般类型的复合目标，并分析了隐式更新，后者用精确优化替代了当前损失函数的次梯度近似。
引用
@article{arxiv.1009.3240,
title = {A Unified View of Regularized Dual Averaging and Mirror Descent with Implicit Updates},
author = {H. Brendan McMahan},
journal= {arXiv preprint arXiv:1009.3240},
year = {2011}
}
备注
Extensively updated version of earlier draft with new analysis including a general treatment of composite objectives and experiments. Also fixes a small bug in some of one of the proofs in the early version