关于用于轨迹优化的熵正则化路径积分控制
最优化与控制
2020-10-28 v2 信息论
math.IT
摘要
本文给出对路径积分控制（PIC）方法的广义视角。PIC 指一类与线性可解最优控制（LSOC）设定紧密关联的策略搜索方法，而 LSOC 是非线性随机最优控制（SOC）问题的一个受限子类。该类的独特之处在于可显式求解，从而得到形式上的最优状态轨迹分布。本文中我们首先回顾 PIC 理论并讨论一般策略搜索的相关算法。我们得以识别出一种通用设计策略，其依赖于最优状态轨迹分布的存在性，并通过最小化最优分布与由策略参数化的状态轨迹分布之间的交叉熵来求得参数化策略。受此启发，我们旨在表述一个共享 LSOC 设定特征但涵盖限制更少的问题表述类的 SOC 问题。我们将此 SOC 问题称为熵正则化轨迹优化。该问题与近来常由强化学习（RL）界探讨的熵正则化随机最优控制设定密切相关。我们分析了理论状态轨迹分布序列的理论收敛行为，并与针对经典优化问题的随机搜索方法建立联系。最后我们导出显式更新，并在 PIC 与 RL 背景下将所隐含的熵正则化 PIC 与早期工作就无导数轨迹优化进行比较。
引用
@article{arxiv.2007.03960,
title = {On Entropy Regularized Path Integral Control for Trajectory Optimization},
author = {Tom Lefebvre and Guillaume Crevecoeur},
journal= {arXiv preprint arXiv:2007.03960},
year = {2020}
}