面向全异构弱耦合MDP的投影Lyapunov方法
机器学习
2026-01-16 v6 最优化与控制
概率论
摘要
异构性是许多实际大规模决策问题的根本性挑战，但仍在很大程度上未被研究。本文研究了一种被称为弱耦合马尔可夫决策过程 (WCMDP) 的此类问题的全异构情形。每个 WCMDP 由 N 个臂（或子问题）组成，这些臂在全异构情形下具有不同的模型参数，导致在 N 较大时出现维度之灾。我们证明，在温和假设下，可有效计算的政策可在 N 较大时实现 O(1/√N) 的最优间隙，以臂长期平均奖励计。这是对全异构平均奖励 WCMDP 的首个渐近最优性结果。我们的主要技术创新是构建投影Lyapunov 函数，以确保即使在完全异构情况下，奖励和成本也收敛到最优区域。
引用
@article{arxiv.2502.06072,
title = {Projection-based Lyapunov method for fully heterogeneous weakly-coupled MDPs},
author = {Xiangcheng Zhang and Yige Hong and Weina Wang},
journal= {arXiv preprint arXiv:2502.06072},
year = {2026}
}
备注
37 pages; full version for NeurIPS proceeding paper; fixed some typos