中文

证书引导的随机 Lipschitz 优化剪枝

机器学习 2026-01-29 v1 人工智能

摘要

我们研究受噪声评估影响的 Lipschitz 函数的黑盒优化。现有自适应离散方法虽能隐式规避次优区域,但缺乏明确的最优性证书或可衡量的进展保证。我们提出证书引导剪枝(Certificate-Guided Pruning, CGP),通过置信度调整的 Lipschitz 包络维护一组潜在最优点 AtA_t。位于 AtA_t 之外的任何点在高概率下均可证明次优;在近最优维数 α\alpha 满足边际条件时,证明 Vol(At)Vol(A_t) 以受控速率收缩,实现样本复杂度 \tildeO(ε(2+α))\tildeO(\varepsilon^{-(2+\alpha)})。我们开发了三个扩展:CGP-Adaptive 在线学习 LL,仅引入 O(logT)O(\log T) 的开销;CGP-TR 通过信任区域实现局部证书,适用于 d>50d > 50;CGP-Hybrid 在检测到局部光滑性后切换至高斯过程细化。12 个基准实验(d[2,100]d \in [2, 100])表明,CGP 变体在保持强大基线性能的同时,通过证书体积提供原则性停止准则。

关键词

引用

@article{arxiv.2601.20231,
  title  = {Certificate-Guided Pruning for Stochastic Lipschitz Optimization},
  author = {Ibne Farabi Shihab and Sanjeda Akter and Anuj Sharma},
  journal= {arXiv preprint arXiv:2601.20231},
  year   = {2026}
}