基于近似动态规划的非短视全局优化

全局优化旨在优化无需梯度信息的高成本黑箱函数。贝叶斯优化是最著名的技术之一，通常采用高斯过程作为代理模型，利用其概率特性来平衡探索与开发。然而，这些过程在高维空间中变得计算上不可行。基于反距离加权（IDW）和径向基函数（RBF）的近期替代方案提供了具有竞争力且计算更轻的解决方案。尽管效率较高，传统的全局优化和贝叶斯优化策略都受到其采集函数的短视性影响，即仅关注即时改进而忽略顺序决策过程的未来影响。为贝叶斯设置设计的非短视采集函数已在改善长期性能方面展现出前景。然而，其与确定性代理模型的结合尚未被探索。在本工作中，我们引入了针对 IDW 和 RBF 的新颖非短视采集策略，基于近似动态规划范式，包括展开和多步场景优化方案，以实现前瞻性采集。这些方法通过预测代理模型的演化，在时间范围内优化一组查询点，本质地通过优化技术管理探索与开发的权衡。所提出的方法代表了将此前仅限于贝叶斯优化的非短视采集原理扩展到确定性模型的重要进展。在合成和超参数调优基准问题、约束问题以及数据驱动的预测控制应用上的实验结果表明，这些非短视方法优于传统的短视方法，实现了更快且更稳健的收敛。