基于总成本准则与平均风险价值的有限马尔可夫决策过程风险厌恶
最优化与控制
2016-02-17 v1
摘要
本文提出一种算法，用于在采用总成本准则（total cost criterion）并结合平均风险价值（AVaR，average value at risk）度量时，计算马尔可夫决策过程（MDP）中的风险厌恶策略。当与期望行为的较大偏差可能产生有害影响时，需要风险厌恶策略，而常规 MDP 算法通常忽略此方面。我们给出了底层 MDP 结构的条件，确保能高效推导并求解精确问题的近似。我们的发现是新颖的，因为平均风险价值此前从未与总成本准则关联考虑。我们的方法在一个快速部署场景中演示：机器人需在时间期限内到达目标位置，且速度提升伴随失败概率增加。我们证明所提算法不仅产生降低超出期望时间期限概率的风险厌恶策略，还提供成本的统计分布，从而提供一种有价值的分析工具。
引用
@article{arxiv.1602.05130,
title = {Risk Aversion in Finite Markov Decision Processes Using Total Cost Criteria and Average Value at Risk},
author = {Stefano Carpin and Yin-Lam Chow and Marco Pavone},
journal= {arXiv preprint arXiv:1602.05130},
year = {2016}
}