面向线性与非线性重尾多臂赌博机的带截断隐式归一化预测器
机器学习
2023-12-27 v3 最优化与控制
机器学习
摘要
隐式归一化预测器（INF）算法被认为是对抗多臂赌博机（MAB）问题的最优解。然而，现有关于INF的多数复杂度结果依赖于限制性假设，如有界奖励。近来，一种相关算法被提出，可同时适用于对抗性和随机重尾MAB设定。但该算法未能充分利用可用数据。本文中，我们提出一种INF的新版本，称为带截断的隐式归一化预测器（INF-clip），用于具有重尾奖励分布的MAB问题。我们在对奖励分布的温和假设下建立了收敛结果，并证明INF-clip对于线性重尾随机MAB问题是最优的，且对非线性问题表现良好。此外，我们表明在难以区分不同臂的情况下，INF-clip优于best-of-both-worlds算法。
引用
@article{arxiv.2305.06743,
title = {Implicitly normalized forecaster with clipping for linear and non-linear heavy-tailed multi-armed bandits},
author = {Yuriy Dorn and Nikita Kornilov and Nikolay Kutuzov and Alexander Nazin and Eduard Gorbunov and Alexander Gasnikov},
journal= {arXiv preprint arXiv:2305.06743},
year = {2023}
}