避免维数灾难的随机对偶控制的连续时间表述

对偶控制指一类系统参数未知的控制问题。挑战在于探寻（即激励系统以增进理解）与谨慎（即基于当前知识选择保守控制以实现控制目标）之间的最优平衡。动态规划技术可实现此最优权衡。然而，尽管动态规划在离散状态与离散时间下表现良好，却不适于连续时间框架或连续或无界状态空间的问题。另一局限是多维状态常使动态规划方法难以处理。本文研究连续时间最优控制工具能否在仍实现探寻-谨慎平衡的同时规避这些缺陷。我们引入一个程式化问题，其状态由两个方程之一支配。初始未知哪一方程支配系统，故须同时确定真实微分方程并将系统控制至期望状态。我们展示如何将此问题转化以应用最优控制工具，并将该方法性能与动态规划方法比较。结果表明，最优控制算法在小问题上可与动态规划媲美，在激进与平滑变化控制间取得恰当平衡。与动态规划不同，当需同时控制多个状态时，最优控制方法仍可行。