基于集成卡尔曼反演的神经网络常微分方程无梯度训练用于系统辨识与控制
机器学习
2023-07-18 v1 数值分析
系统与控制
系统与控制
数值分析
计算物理
摘要
集成卡尔曼反演(EKI)是一种在贝叶斯框架内求解逆问题的序贯蒙特卡洛方法。与反向传播不同，EKI是一种无梯度优化方法，仅需在前向传播中评估人工神经网络。在本研究中，我们考察EKI在训练神经常微分方程(neural ODEs)以用于系统辨识与控制任务中的有效性。为将EKI应用于最优控制问题，我们构建了包含Tikhonov型正则化项的逆问题。我们的数值结果表明，EKI是一种在系统辨识与最优控制问题中训练神经ODEs的高效方法，其运行时间与解的质量可与常用的基于梯度的优化器相媲美。
引用
@article{arxiv.2307.07882,
title = {Gradient-free training of neural ODEs for system identification and control using ensemble Kalman inversion},
author = {Lucas Böttcher},
journal= {arXiv preprint arXiv:2307.07882},
year = {2023}
}
备注
10 pages, 3 figures, Workshop on New Frontiers in Learning, Control, and Dynamical Systems at the International Conference on Machine Learning (ICML), Honolulu, Hawaii, USA, 2023