关于自适应正则化的必要性：$\ell_p$球上的最优即时在线学习
机器学习
2025-12-01 v3
摘要
我们研究球中的在线凸优化，其中。虽然始终是亚线性的，但最优 regret 在高维情 setting()和低维情 setting()之间存在转折，其中维度大于时间 horizon 。我们证明，Follow-the-Regularised-Leader(FTRL)采用随时间变化的正则化项，可适应维度情 setting，以实现所有维度情 setting 的即时最优。为此，我们询问是否可能使用固定非自适应正则化项的FTRL实现即时最优性。我们的主要结果表明，对于可分离正则化器，正则化器中的自适应性是必要的，且任何固定正则化器在上述两个维度情 setting 中一个就会次优。最后，我们提供下界，表明对于所有球()，线性bandit问题在足够高的维度下都不可能实现亚线性 regret 界。
引用
@article{arxiv.2506.19752,
title = {On the necessity of adaptive regularisation:Optimal anytime online learning on $\boldsymbol{\ell_p}$-balls},
author = {Emmeran Johnson and David Martínez-Rubio and Ciara Pike-Burke and Patrick Rebeschini},
journal= {arXiv preprint arXiv:2506.19752},
year = {2025}
}