用于风险敏感成本马尔可夫决策过程的函数逼近演员-评论算法
机器学习
2025-08-05 v2 机器学习
摘要
本文考虑以指数化成本形式的风险敏感成本准则，用于马尔可夫决策过程，并在此设定下开发模型无关的策略梯度算法。与平均成本或折扣成本等可加成本准则不同，风险敏感成本准则因其鞅方程的乘法结构导致研究工作相对较少。我们在此设定下开发了带有函数逼近的演员-评论算法，并提供其渐近收敛性分析。我们还展示了数值实验结果，表明该算法在性能上优于文献中其他最近的算法。
引用
@article{arxiv.2502.11604,
title = {An Actor-Critic Algorithm with Function Approximation for Risk Sensitive Cost Markov Decision Processes},
author = {Soumyajit Guin and Vivek S. Borkar and Shalabh Bhatnagar},
journal= {arXiv preprint arXiv:2502.11604},
year = {2025}
}