中文

曲面损失的非平稳在线学习:通过 Mixability 实现动态 regret 的提升

机器学习 2025-06-13 v1

摘要

非平稳在线学习近年来引发了广泛关注。尽管取得了显著进展,但动态 regret 的最小化主要聚焦于凸函数,留下了更强曲率函数(如平方损失或逻辑损失)的探索。本文填补这一空白,表明通过利用 Mixability 概念, regret 可显著提升。Mixability 是一种可有效捕捉损失曲率的性质,推广了 exp-concavity。设 dd 为维数,PTP_T 为比较器的路径长度,反映环境的非平稳性。我们证明,具有固定共享更新的指数权重方法可实现曲可得的 O(dT1/3PT2/3logT)\mathcal{O}(d T^{1/3} P_T^{2/3} \log T) 动态 regret,优于已知最佳结果 O(d10/3T1/3PT2/3logT)\mathcal{O}(d^{10/3} T^{1/3} P_T^{2/3} \log T)(Baby 和 Wang,2021)在 dd 上的结果。更重要的是,这一改进源于一种简单而强大的分析框架,利用 Mixability 性质,避免了现有方法所需的 Karush-Kuhn-Tucker 基于分析。

关键词

引用

@article{arxiv.2506.10616,
  title  = {Non-stationary Online Learning for Curved Losses: Improved Dynamic Regret via Mixability},
  author = {Yu-Jie Zhang and Peng Zhao and Masashi Sugiyama},
  journal= {arXiv preprint arXiv:2506.10616},
  year   = {2025}
}

备注

ICML 2025