中文

非对称高阶Hölder光滑与一致凸函数下的紧下界

最优化与控制 2025-06-10 v3 机器学习

摘要

本文针对最小化高阶Hölder光滑且一致凸函数的预言机复杂度,给出了紧的下界。具体而言,对于p阶导数满足Hölder连续(度为ν,参数为H)且一致凸(度为q,参数为σ)的函数,我们关注两种非对称情况:(1) q > p + ν 和 (2) q < p + ν。在给定p阶预言机访问的情况下,我们建立了最坏情况下的预言机复杂度:在第一种情况下,使用ℓ∞球截断高斯平滑硬函数,复杂度为Ω( (H/σ)^(2/(3(p+ν)-2)) (σ/ε)^(2(q-p-ν)/(q(3(p+ν)-2))) );在第二种情况下,复杂度为Ω( (H/σ)^(2/(3(p+ν)-2)) + log log( (σ^(p+ν)/H^q)^(1/(p+ν-q)) / ε ) ),以达到ε-近似解(以最优性差距衡量)。我们的分析推广了先前关于一阶和二阶光滑函数以及一致凸函数的复杂度下界,并且我们的结果与一般情况下的相应上界相匹配。

关键词

引用

@article{arxiv.2409.10773,
  title  = {Tight Lower Bounds under Asymmetric High-Order H\"older Smoothness and Uniform Convexity},
  author = {Cedar Site Bai and Brian Bullins},
  journal= {arXiv preprint arXiv:2409.10773},
  year   = {2025}
}

备注

ICLR 2025 Oral