基于双保真度线搜索加速的随机子空间下降算法
机器学习
2025-11-04 v2 最优化与控制
摘要
高效优化在众多科学和工程领域中仍然是一个根本性挑战，尤其是当目标函数和梯度评估的计算成本高昂时。虽然零阶优化方法在梯度不可获取时提供了有效的途径，但其实际性能可能受到函数查询高成本的限制。本文引入了双保真度随机子空间下降（BF-SSD）算法，这是一种旨在降低此计算负担的新型零阶优化方法。BF-SSD利用双保真度框架，结合计算成本低廉的低保真度（LF）和精确的高保真度（HF）函数评估来构建代理模型。该代理模型有助于实现一种高效的回溯线搜索以选择步长，我们为此在标准假设下提供了理论收敛保证。我们在四个不同问题上对BF-SSD进行了全面的实证评估：一个合成优化基准、对偶形式的核岭回归、针对机器学习模型的黑盒对抗攻击，以及基于Transformer的黑盒语言模型微调。数值结果表明，与相关基线方法相比，BF-SSD在显著减少HF函数评估次数的同时，始终能实现更优的优化性能。本研究凸显了将双保真度策略集成到零阶优化中的有效性，使BF-SSD成为解决各种实际应用中遇到的大规模、高维问题的一种有前景且计算高效的方法。
引用
@article{arxiv.2505.00162,
title = {Stochastic Subspace Descent Accelerated via Bi-fidelity Line Search},
author = {Nuojin Cheng and Alireza Doostan and Stephen Becker},
journal= {arXiv preprint arXiv:2505.00162},
year = {2025}
}