尺度无关在线学习
机器学习
2016-12-15 v2
摘要
我们设计并分析了用于在线线性优化的算法，这些算法具有最优悔界，同时不需要知道损失向量范数的任何上界或下界。我们的算法是正则化跟随领导者（FTRL）和镜像下降（MD）元算法的实例。我们通过尺度不变性实现对损失向量范数的自适应性，即，如果损失向量序列乘以任意正常数，我们的算法会做出完全相同的决策。基于 FTRL 的算法适用于任何决策集，无论有界或无界。对于无界决策集，这是首个具有非空悔界的在线线性优化自适应算法。相反，我们展示了基于 MD 的尺度无关算法在无界域上的下界。
引用
@article{arxiv.1601.01974,
title = {Scale-Free Online Learning},
author = {Francesco Orabona and Dávid Pál},
journal= {arXiv preprint arXiv:1601.01974},
year = {2016}
}
备注
arXiv admin note: text overlap with arXiv:1502.05744