证书引导的随机 Lipschitz 优化剪枝
机器学习
2026-01-29 v1 人工智能
摘要
我们研究受噪声评估影响的 Lipschitz 函数的黑盒优化。现有自适应离散方法虽能隐式规避次优区域,但缺乏明确的最优性证书或可衡量的进展保证。我们提出证书引导剪枝(Certificate-Guided Pruning, CGP),通过置信度调整的 Lipschitz 包络维护一组潜在最优点 。位于 之外的任何点在高概率下均可证明次优;在近最优维数 满足边际条件时,证明 以受控速率收缩,实现样本复杂度 。我们开发了三个扩展:CGP-Adaptive 在线学习 ,仅引入 的开销;CGP-TR 通过信任区域实现局部证书,适用于 ;CGP-Hybrid 在检测到局部光滑性后切换至高斯过程细化。12 个基准实验()表明,CGP 变体在保持强大基线性能的同时,通过证书体积提供原则性停止准则。
引用
@article{arxiv.2601.20231,
title = {Certificate-Guided Pruning for Stochastic Lipschitz Optimization},
author = {Ibne Farabi Shihab and Sanjeda Akter and Anuj Sharma},
journal= {arXiv preprint arXiv:2601.20231},
year = {2026}
}