基于深度强化学习的实时模型校准
信号处理
2020-06-11 v2 人工智能
机器学习
摘要
从经验数据中动态、实时且准确地推断模型参数，在许多使用计算模型（如数字孪生）来分析和预测复杂物理过程的科学与工程学科中具有重要意义。然而，在噪声现实条件下，具有大规模高维数据集过程的快速准确推断难以用最先进的方法轻易实现。其主要原因是，基于优化或采样的传统技术进行模型参数推断常面临计算和统计挑战，导致在精度与部署时间之间权衡。本文中，我们提出了一种基于强化学习的模型参数推断新框架。论文的贡献有两方面：1）我们将推断问题重新表述为跟踪问题，目标是学习一种策略使基于物理的模型响应跟随观测值；2）我们提出约束 Lyapunov 型 actor-critic（CLAC）算法，以在噪声现实条件下实现基于物理的模型参数的鲁棒、准确实时推断。所提方法在两个基于模型的诊断测试案例上利用两种不同涡扇发动机物理模型进行了展示和评估。该方法的性能与两种替代方法进行比较：状态更新方法（无迹卡尔曼滤波器）和深度神经网络监督端到端映射。实验结果表明，所提方法在速度和鲁棒性方面优于所有其他被测方法，且推断精度高。
引用
@article{arxiv.2006.04001,
title = {Real-Time Model Calibration with Deep Reinforcement Learning},
author = {Yuan Tian and Manuel Arias Chao and Chetan Kulkarni and Kai Goebel and Olga Fink},
journal= {arXiv preprint arXiv:2006.04001},
year = {2020}
}
备注
18 pages, 10 figures