非指数加权聚合：无界损失函数下的后悔界
机器学习
2022-01-17 v5 机器学习
摘要
我们解决了具有一般、可能无界的损失函数的在线优化问题。众所周知，当损失有界时，指数加权聚合策略（EWA）在 步后产生 量级的后悔。本文研究一种广义聚合策略，其中权重不再指数依赖于损失。我们的策略基于跟随正则化领导者（FTRL）：我们最小化期望损失加上一个正则化项，此处为正则化项是一个 -散度。当正则化项为 Kullback-Leibler 散度时，我们将 EWA 作为特例得到。使用替代散度可处理无界损失，代价是在某些情况下后悔界变差。
引用
@article{arxiv.2009.03017,
title = {Non-exponentially weighted aggregation: regret bounds for unbounded loss functions},
author = {Pierre Alquier},
journal= {arXiv preprint arXiv:2009.03017},
year = {2022}
}