无参数镜像下降法
机器学习
2024-02-12 v4 最优化与控制
机器学习
摘要
我们开发了一个改进的在线镜像下降框架，适用于在无界域中构建自适应且无参数的算法。我们利用此技术开发了首个实现最优动态遗憾界的无约束在线线性优化算法，并进一步证明了基于“跟随正则化领导者”的自然策略无法取得类似结果。我们还将我们的镜像下降框架应用于构建新的无参数隐式更新，以及一个简化且改进的无约束无尺度算法。
引用
@article{arxiv.2203.00444,
title = {Parameter-free Mirror Descent},
author = {Andrew Jacobsen and Ashok Cutkosky},
journal= {arXiv preprint arXiv:2203.00444},
year = {2024}
}
备注
59 pages. v4: Added a new section (7. Trade-offs in the Horizon Dependence) discussing how to achieve an alternative type of parameter-free bound using our framework; v3: published at COLT 2022 + fixed typos; v2: improved the algorithms in sections 3, 5, and 6 (tighter regret, simpler updates and analysis), corrected minor technical details and fixed typos