中文

uniINF:面向重尾多臂老虎机问题的最佳-两种-世界算法

机器学习 2025-02-26 v2

摘要

本文提出了一种新型算法uniINF,用于解决重尾多臂老虎机(Heavy-Tailed Multi-Armed Bandits, HTMAB)问题,展示了在随机和对抗环境中的鲁棒性和适应性。与传统的随机MAB设置不同,在后者中损失分布随时间保持平稳,而本研究扩展至对抗性设置,即损失来自取决于臂和时间的重尾分布。我们的新型算法uniINF具备所谓的最佳-两种-世界(Best-of-Both-Worlds, BoBW)属性,即在不知晓具体环境类型的情况下,能在随机和对抗环境中实现最优性能。此外,我们的算法还具备参数无关特性,即无需预先知道重尾参数 (σ,α)(\sigma, \alpha)。更准确地说,uniINF在随机和对抗环境中均实现近似最优 regret,匹配相应下界(最多 logarithmic 因子)。据我们所知,uniINF是首个实现HTMAB问题BoBW属性且参数无关的算法。技术上,我们发展了创新技术以实现HTMAB的参数无关BoBW保证,包括对 log-barrier 动力学的细致分析、自适应学习率调度方案、自适应跳过-裁剪损失调谐技术以及对 logarithmic regret 的停止时间分析。

关键词

引用

@article{arxiv.2410.03284,
  title  = {uniINF: Best-of-Both-Worlds Algorithm for Parameter-Free Heavy-Tailed MABs},
  author = {Yu Chen and Jiatai Huang and Yan Dai and Longbo Huang},
  journal= {arXiv preprint arXiv:2410.03284},
  year   = {2025}
}

备注

Accepted by the Thirteenth International Conference on Learning Representations