面向基于分类的无导数优化的可扩展加速
机器学习
2025-04-16 v2 数值分析
数值分析
最优化与控制
摘要
无导数优化算法在科学和工程设计优化问题中发挥着重要作用，尤其在无法获取导数信息时。本文研究基于序列分类的无导数优化算法框架。通过引入学习理论概念假设-目标破碎率（hypothesis-target shattering rate），我们重新审视了 SRACOS（Hu, Qian, and Yu 2017）的计算复杂度上界。受重新审视的上界启发，我们提出一种名为 RACE-CARS 的算法，与 SRACOS 相比增加了随机区域收缩步骤。我们进一步建立定理以证明区域收缩带来的加速。在合成函数以及语言模型即服务（language-model-as-a-service）的黑盒调优上的实验实证了 RACE-CARS 的效率。我们还对引入的超参数进行了消融实验，揭示了 RACE-CARS 的机制并提出了经验性超参数调优指导。
引用
@article{arxiv.2309.11036,
title = {Scalable Acceleration for Classification-Based Derivative-Free Optimization},
author = {Tianyi Han and Jingya Li and Zhipeng Guo and Yuan Jin},
journal= {arXiv preprint arXiv:2309.11036},
year = {2025}
}