基于归一化流的确定性 Langevin 无约束优化
机器学习
2023-10-03 v1 最优化与控制
摘要
受 Fokker-Planck 与 Langevin 方程启发，我们提出了一种针对昂贵黑盒函数的全局、无梯度代理优化策略。这些方程可写为一个优化问题，其中目标函数为待最大化的目标函数减去已评估样本当前密度的对数。该目标在目标函数的利用与低密度区域的探索之间取得平衡。该方法称为确定性 Langevin 优化(DLO)，依赖于归一化流(Normalizing Flow)密度估计来进行主动学习并选取待评估的提议点。该策略在性质上不同于贝叶斯优化方法广泛使用的采集函数，并可容纳一系列代理选择。我们在标准合成测试函数以及中等维度的非凸、多模态后验上展示了朝向目标最优解的优越或具竞争力的进展。在科学及神经网络超参数优化等真实世界目标上，DLO 与当前最优基线具竞争力。
引用
@article{arxiv.2310.00745,
title = {Deterministic Langevin Unconstrained Optimization with Normalizing Flows},
author = {James M. Sullivan and Uros Seljak},
journal= {arXiv preprint arXiv:2310.00745},
year = {2023}
}
备注
31 pages, 9 figures, 1 table, submitted to JOGO