将激活射相抖动算法推向更高维度的极限

贝叶斯优化（BO）用于连续变量函数的最小化，利用来自先前样本（${\boldsymbol x}_i$ 和 $f({\boldsymbol x}_i)$ 值）获取的所有知识构建基于高斯过程的代理模型。然后利用探索与开发之间的精妙平衡来定义下一个采样点。最初 intended for low-dimensional spaces，BO 最近被修改和用于 very large-dimensional spaces（最多约一千维）。本文考虑一种更简单的方法，称为 "激活射相抖动算法"（RAS）。下一个样本始终在平行体（“盒子”）内以均匀概率分布生成。在每次迭代中，仅基于点 $\boldsymbol x$ 位置以及改进函数成功或失败，通过仿射变换适应盒子的形状。因此，不直接使用函数值来修改搜索区域和生成下一个样本。整个维度被保持（无主动子空间）。尽管其极端简单性仅使用随机局部搜索，惊人地产生的结果与高维 BO 的最先进结果相当，尽管需要更多函数评估。对 RAS 行为进行消融研究和在 very large-dimensional spaces 中的方向概率分布分析（改进步骤和盒子取向），以更好地理解 RAS 的行为并评估算法构建块对最终结果的相对重要性。