系统感知的神经ODE过程用于少样本贝叶斯优化
机器学习
2024-11-05 v2
摘要
我们考虑在由未知常微分方程(ODE)控制的动力系统中优化初始条件和终止时间的问题，其中评估不同初始条件的成本高昂，且状态值无法实时测量，只能在测量设备处理样本时延迟获取。为了在有限试验中识别最优条件，我们引入了一个基于系统先验信息的少样本贝叶斯优化(BO)框架。我们方法的核心是系统感知的神经ODE过程(SANODEP)，它是神经ODE过程(NODEP)的扩展，旨在通过一种新颖的上下文嵌入块从多条轨迹中元学习ODE系统。我们进一步开发了一个两阶段BO框架，以有效纳入搜索空间约束，从而实现对初始条件和观测时机的有效优化。我们进行了大量实验，展示了SANODEP在动力系统中进行少样本BO的潜力。我们还探讨了SANODEP对不同先验信息水平的适应性，突出了先验灵活性与模型拟合精度之间的权衡。
引用
@article{arxiv.2406.02352,
title = {System-Aware Neural ODE Processes for Few-Shot Bayesian Optimization},
author = {Jixiang Qing and Becky D Langdon and Robert M Lee and Behrang Shafei and Mark van der Wilk and Calvin Tsay and Ruth Misener},
journal= {arXiv preprint arXiv:2406.02352},
year = {2024}
}