基于随机原始对偶优化的高维MDP高效全局规划
机器学习
2023-02-01 v2 最优化与控制
摘要
我们提出了一种新的随机原始对偶优化算法，用于在具有生成模型和线性函数逼近的大型折扣马尔可夫决策过程（Markov decision process, MDP）中进行规划。假设特征映射近似满足标准可实现性和Bellman闭包条件，并且所有状态-动作对的特征向量可表示为一小组核心状态-动作对的凸组合，我们证明我们的方法在对该生成模型进行多项式次查询后输出一个近最优策略。我们的方法计算高效，并具有一个主要优势：它输出一个单一的softmax策略，该策略由低维参数向量紧凑表示，并且在运行时不需要执行计算代价高昂的局部规划子程序。
引用
@article{arxiv.2210.12057,
title = {Efficient Global Planning in Large MDPs via Stochastic Primal-Dual Optimization},
author = {Gergely Neu and Nneka Okolo},
journal= {arXiv preprint arXiv:2210.12057},
year = {2023}
}
备注
23 pages including reference and appendix