路径签名遇上动态规划:面向轨迹跟踪的 Bellman 方程推广

路径签名已被提出作为一种强大的路径表示方法,能够高效捕捉路径的解析与几何特征,并具有包括通过张量积快速拼接路径在内的实用代数性质。近年来,签名在时间序列分析的机器学习问题中得到了广泛应用。在本工作中,我们建立了最优控制中常用的值函数与路径签名的有趣性质之间的联系。这些联系促使我们提出了一种基于签名变换的新型控制框架,该框架将 Bellman 方程高效地推广到轨迹空间。我们分析了这一被称为签名控制的框架的性质与优势。特别地,我们证明了:(i) 它能自然处理可变/自适应时间步长;(ii) 它比值函数更新更高效地传播高层信息;(iii) 它对长程展开中的动态系统误设具有鲁棒性。作为我们框架的一个特例,我们设计了一种用于路径跟踪的模型预测控制方法。该方法推广了积分控制,适用于存在未知扰动的问题。所提出的算法在仿真中进行了测试,使用了可微物理模型,涵盖典型的控制与机器人任务,如质点、蚂蚁模型的曲线跟踪以及机械臂操作。