关于连续时序最优控制在离散观测下的信念空间上的庞特莱恩最大原理
最优化与控制
2026-01-01 v1 概率论
摘要
我们研究了在部分观测仅在离散时刻可得的连续时序随机最优控制问题。这种包含连续动力学与间歇性噪声测量的混合设置，出现在机器人探索、目标跟踪以及流行病控制等应用场景。我们在信念空间（信息状态空间）上对问题进行建模，将控制器对状态的后验分布作为决策变量。该信念空间上推导了庞特莱恩最大原理，提供问题最优性的必要条件。分析中严格追踪了观测时刻之间状态的连续演化以及观测时刻信念的贝叶斯跳变。关键洞见在于，最大原理中的 adjoint 过程与信念空间价值泛函的梯度之间存在关系，这将最优性条件与概率测度空间上的动态规划方法相联系。最终得到的优化系统具有预测-更新结构，与非线性滤波中的未归一化Zakai方程和归一化Kushner-Stratonovich方程密切相关。基于此分析，我们设计了基于粒子的数值方案来近似计算耦合的前向（滤波器）和后向（adjoint）系统。该方案利用粒子滤波表示演化的信念，并采用回归技术逼近 adjoint，从而得到一种在部分信息下计算近似最优控制的实用算法。该方法在线性和非线性实例上的有效性得到验证，特别强调了主动控制观测过程的优势。
引用
@article{arxiv.2512.24916,
title = {A Pontryagin Maximum Principle on the Belief Space for Continuous-Time Optimal Control with Discrete Observations},
author = {Christian Bayer and Saifeddine Ben naamia and Erik von Schwerin and Raul Tempone},
journal= {arXiv preprint arXiv:2512.24916},
year = {2026}
}