每一次调用都珍贵：基于未知 Lipschitz 常数的黑箱函数全局优化
机器学习
2025-02-07 v1 人工智能
系统与控制
系统与控制
最优化与控制
机器学习
摘要
优化昂贵、非凸、黑箱 Lipschitz 连续函数 presents significant 挑战，尤其是当该函数的 Lipschitz 常数未知时。这类问题往往需要大量函数评估才能近似全局最优解，这在时间、能源或资源方面往往不可接受。本文我们引入 Every Call is Precious (ECP)，一种新的全局优化算法，通过战略性地聚焦于可能最优的区域来消除不有前景的评估。与之前的方法不同，ECP 无需估计 Lipschitz 常数，从而避免了额外的函数评估。ECP 在无限评估预算下保证零后悔性能，并在有限预算内实现 minimax 最优后悔界。广泛的消融研究验证了该算法的鲁棒性，而实证评估显示，ECP 在 30 个多维非凸合成和真实世界优化问题上均优于 10 个基准算法，包括 Lipschitz、贝叶斯、bandits 和进化方法，这将 ECP 定位为全局优化的竞争性方法。
引用
@article{arxiv.2502.04290,
title = {Every Call is Precious: Global Optimization of Black-Box Functions with Unknown Lipschitz Constants},
author = {Fares Fourati and Salma Kharrat and Vaneet Aggarwal and Mohamed-Slim Alouini},
journal= {arXiv preprint arXiv:2502.04290},
year = {2025}
}
备注
Accepted at AISTATS 2025