基于分位数风险测度的风险规避近似动态规划

在本文中，我们考虑一个有限时域马尔可夫决策过程，其每个阶段的目标是最小化未来成本序列的基于分位数的风险测度；我们将总体目标称为动态基于分位数的风险测度。特别地，我们考虑优化动态风险测度，其中单步风险测度为基于分位数的风险测度，这是一类包含流行的风险价值与条件风险价值的风险测度。尽管文献中对风险规避马尔可夫决策过程有相当多的理论发展，但计算上的挑战尚未得到同样深入的探索。我们提出了数据驱动和基于仿真的近似动态规划算法来解决风险规避序贯决策问题。我们解决了仿真环境中风险应用采样效率低下的问题，并提出了一种基于重要性采样的方法，随着近似动态规划算法的进行，将样本导向“风险区域”。最后，我们展示了算法在涉及风险规避储能竞标应用背景下的数值结果。