面向风险对策马尔可夫决策过程的半光滑牛顿方法
最优化与控制
2025-01-24 v1
摘要
受半光滑牛顿方法的启发，我们提出了一个用于设计具有收敛保证的风险对策马尔可夫决策过程求解方法的通用框架。该方法通过利用马尔可夫一致性风险度量的假设，能够适用于多种风险度量。为展示该框架的通用性和有效性，我们设计了三种不同的求解方法，每种方法都有明确的收敛保证和具竞争力的实证性能。基准问题的验证结果表明，我们的方法性能具有竞争力。此外，我们证明风险对策策略迭代可被解释为半光滑牛顿方法的一个特例。这种洞见解释了其在风险对策价值迭代中具有优越收敛性能的原因。然而，我们工作的核心贡献在于受半光滑牛顿方法启发而开发的算法框架，而非评估特定风险度量或主张在特定应用中优于风险中性方法。
引用
@article{arxiv.2501.13612,
title = {Semismooth Newton Methods for Risk-Averse Markov Decision Processes},
author = {Matilde Gargiani and Francesco Micheli and Anastasios Tsiamis and John Lygeros},
journal= {arXiv preprint arXiv:2501.13612},
year = {2025}
}