风险不偏策略梯度的变异性度量

风险不偏强化学习（RARL）对于不确定性下的决策至关重要，尤其在 high-stake applications 中更为重要。然而，大多数现有工作关注风险度量（如条件价值-at-risk, CVaR），而变异性度量（measures of variability）则鲜有探讨。本文我们全面研究了九种常见的变异性度量：方差、Gini Deviation、均值偏差、均值-中位数偏差、标准差、Inter-Quantile Range、CVaR Deviation、Semi_Variance 和 Semi_Standard Deviation。在其中四个指标此前未在 RARL 中受到研究。我们推导了这些未研究指标的 policy gradient 公式，改进了 Gini Deviation 的 gradient 估计，分析了其 gradient properties，并将其与 REINFORCE 和 PPO 框架集成以惩罚 returns 的 dispersion。我们的实证研究表明，基于方差的指标导致 policy updates 不稳定。相比之下，CVaR Deviation 和 Gini Deviation 在不同 randomness 和 evaluation domains下表现一致，实现 high returns 同时有效学习 risk-averse policies。Mean Deviation 和 Semi_Standard Deviation 也在不同情景下表现出竞争力。这项工作为 RARL 中的变异性度量提供了全面概览，为风险意识决策提供了 practical insights，并指引了未来在风险度量和 RARL algorithm 方面的 research。