面向具有外生输入的 MDP 的事后学习
机器学习
2023-10-24 v3 机器学习
摘要
许多资源管理问题需要在不确定性下进行序贯决策，其中影响决策结果的唯一不确定性是决策者可外部控制之外的外生变量。我们将这些问题建模为 Exo-MDP(具有外生输入的马尔可夫决策过程)，并为其设计了一类称为事后学习(HL)的数据高效算法。我们的 HL 算法通过利用一个关键洞察实现数据高效：在拥有外生变量样本的情况下，可以在事后重新审视过去的决策以推断反事实后果，从而加速策略改进。我们在多秘书和航空收益管理问题中将 HL 与经典基线进行比较。我们还将算法扩展到业务关键的云资源管理问题——将虚拟机(VM)分配给物理机，并使用来自大型公有云提供商的真实数据集模拟其性能。我们发现 HL 算法优于领域特定启发式方法以及最先进的强化学习方法。
引用
@article{arxiv.2207.06272,
title = {Hindsight Learning for MDPs with Exogenous Inputs},
author = {Sean R. Sinclair and Felipe Frujeri and Ching-An Cheng and Luke Marshall and Hugo Barbalho and Jingling Li and Jennifer Neville and Ishai Menache and Adith Swaminathan},
journal= {arXiv preprint arXiv:2207.06272},
year = {2023}
}
备注
52 pages, 6 figures