Soft-Bayes: 针对专家混合对数损失预测的 Prod 算法
机器学习
2019-01-09 v1 机器学习
摘要
我们考虑在对数损失下的专家建议预测,目标是推导高效且鲁棒的算法。我们认为现有算法如指数梯度、在线梯度下降和在线牛顿步不能充分满足这两方面要求。我们的主要贡献是对 Prod 算法的分析,该算法对任意数据序列鲁棒,且在每轮相对于专家数量呈线性时间运行。尽管对数损失具有无界性质,我们推导出一个独立于最大损失和最大梯度的界,且仅依赖于专家数量和时间范围。此外,我们给出了 Prod 的贝叶斯解释,并调整该算法以推导跟踪遗憾(tracking regret)。
引用
@article{arxiv.1901.02230,
title = {Soft-Bayes: Prod for Mixtures of Experts with Log-Loss},
author = {Laurent Orseau and Tor Lattimore and Shane Legg},
journal= {arXiv preprint arXiv:1901.02230},
year = {2019}
}