基于广义加权平均的上置信界算法简易改进
机器学习
2023-08-29 v1
摘要
多臂老虎机（MAB）问题是强化学习中建模不确定性下序贯决策的典型问题。本研究通过广义加权平均扩展 MAB 问题的代表性算法 UCB1，提出一种新的广义上置信界（UCB）算法（GWA-UCB1），并给出适用于多种问题设置的有效算法。GWA-UCB1 是 UCB1 中探索与利用平衡的双参数推广，可通过简易修改 UCB1 公式实现。因此，该算法可轻松应用于基于 UCB 的强化学习模型。在初步实验中，我们于双臂随机 MAB 问题中研究了为比较准备的简单广义 UCB1（G-UCB1）与 GWA-UCB1 的最优参数。随后，当臂奖励概率从均匀或正态分布采样时，以及于假设更真实情形的生存 MAB 问题上，我们以所得参数确认了算法性能。GWA-UCB1 在大多数问题设置下优于 G-UCB1、UCB1-Tuned 与 Thompson sampling，且可应用于诸多场景。代码见 https://github.com/manome/python-mab。
引用
@article{arxiv.2308.14350,
title = {Simple Modification of the Upper Confidence Bound Algorithm by Generalized Weighted Averages},
author = {Nobuhito Manome and Shuji Shinohara and Ung-il Chung},
journal= {arXiv preprint arXiv:2308.14350},
year = {2023}
}
备注
8 pages, 8 figures