风险敏感随机最优控制作为 Rao-Blackwellized Markovian Score Climbing
机器学习
2023-12-22 v1 系统与控制
系统与控制
摘要
动态系统的随机最优控制是序贯决策中的关键挑战。近年来，控制即推断方法取得了显著成功，为解决探索-利用困境提供了可行的风险敏感框架。然而，这些技术大多仅利用推断-控制对偶性来推导修正的风险目标，随后在强化学习框架内求解。本文提出了一种新视角，将风险敏感随机控制构建为基于条件粒子滤波采样下的 Markovian Score Climbing。我们的方法以纯推断为中心，通过最优重要性加权且无需显式价值函数学习，为基于梯度的策略优化提供渐近无偏估计。为验证该方法，我们将其应用于学习神经非高斯反馈策略的任务，展示了其在随机动力系统数值基准上的有效性。
引用
@article{arxiv.2312.14000,
title = {Risk-Sensitive Stochastic Optimal Control as Rao-Blackwellized Markovian Score Climbing},
author = {Hany Abdulsamad and Sahel Iqbal and Adrien Corenflos and Simo Särkkä},
journal= {arXiv preprint arXiv:2312.14000},
year = {2023}
}