线性可解控制的统一框架
系统与控制
2012-02-20 v1 最优化与控制
摘要
最近的工作导致了线性可解马尔可夫决策过程（LMDP）和相关路径积分控制问题的优雅理论的发展。传统上，MDP使用随机策略和基于KL散度的控制成本来表述。在本文中，我们将此框架扩展到更一般的散度类：Renyi散度。这是一类更一般的散度，由一个连续参数参数化，其中KL散度作为一个特例。由此产生的控制问题可以解释为求解LMDP问题的风险敏感版本。对于a>0，我们得到风险规避行为（风险规避程度随a增加而增加），对于a<0，我们得到风险寻求行为。当a->0时，我们恢复LMDP。这项工作推广了最近发展的风险敏感路径积分控制形式，该形式可以看作是本文所得结果的连续时间极限。据我们所知，这是一个线性可解控制的一般理论，并包含了所有先前的工作作为特例。我们还提出了这些结果的另一种解释，即求解一个2人（合作或竞争）马尔可夫博弈。从线性性质出发，可以得到许多良好的性质，包括控制律的组合性和价值函数的路径积分表示。我们通过噪声控制问题展示了该框架的实用性，其中不同的a值导致定性地不同的控制行为。
引用
@article{arxiv.1202.3715,
title = {A Unifying Framework for Linearly Solvable Control},
author = {Krishnamurthy Dvijotham and Emanuel Todorov},
journal= {arXiv preprint arXiv:1202.3715},
year = {2012}
}