Forward-PECVaR 算法：CVaR SSP 的精确评估
人工智能
2023-03-02 v1
摘要
随机最短路径（SSP）问题对概率性序贯决策问题建模，其中智能体须追求目标同时最小化代价函数。由于动态具有概率性，期望代价函数能考量风险。条件风险价值（CVaR）是一种通过考虑占比为 的较差轨迹之期望来建模任意风险水平的准则。尽管最优策略是非马尔可夫的，CVaR-SSP 的解可通过基于值迭代的算法近似求得，如带线性插值的 CVaR 值迭代（CVaRVIQ）与基于分位数表示的 CVaR 值迭代（CVaRVILI）。此类解依赖于算法参数，如原子数与 （最小 ）。为比较这些算法返回的策略，我们需要一种精确评估 CVaR-SSP 平稳策略的方法。虽已有评估此类策略的算法，但其仅适用于代价均匀的问题。本文提出新算法 Forward-PECVaR（ForPECVaR），可精确评估具有非均匀代价的 CVaR-SSP 平稳策略。我们从经验上评估了近似求解的 CVaR 值迭代算法，考察其与精确解相比的解质量，以及算法参数对解质量与可扩展性的影响。在两个领域的实验表明，使用小于目标 的 及恰当的原子数对获得良好近似十分重要。
引用
@article{arxiv.2303.00672,
title = {Forward-PECVaR Algorithm: Exact Evaluation for CVaR SSPs},
author = {Willy Arthur Silva Reis and Denis Benevolo Pais and Valdinei Freire and Karina Valdivia Delgado},
journal= {arXiv preprint arXiv:2303.00672},
year = {2023}
}