不变 Lipschitz 赌博机：一种边观测方法
机器学习
2023-08-29 v3 机器学习
摘要
对称性出现在许多优化与决策问题中，并已引起优化界的相当关注：通过利用此类对称性的存在，寻找最优解的过程可得到显著改进。尽管对称性在（离线）优化中取得了成功，但其在在线优化设定中的利用尚未得到充分研究，尤其是在赌博机文献中。为此，本文研究不变 Lipschitz 赌博机设定，这是 Lipschitz 赌博机的一个子类，其中奖励函数与臂集合在一组变换下保持不变。我们提出一种名为 \texttt{UniformMesh-N} 的算法，它自然地将利用群轨道的边观测整合进 \texttt{UniformMesh} 算法（\cite{Kleinberg2005_UniformMesh}），该算法对臂集合进行均匀离散化。利用边观测方法，我们证明了改进的悔值上界，其在群有限时依赖于群的基数。我们还证明了不变 Lipschitz 赌博机类的匹配悔值下界（至多相差对数因子）。我们希望我们的工作能引发对赌博机理论及广义上序贯决策理论中对称性的进一步研究。
引用
@article{arxiv.2212.07524,
title = {Invariant Lipschitz Bandits: A Side Observation Approach},
author = {Nam Phuong Tran and Long Tran-Thanh},
journal= {arXiv preprint arXiv:2212.07524},
year = {2023}
}