用于管理公共卫生发放点的结构化 Actor-Critic 方法

公共卫生组织在紧急情况下面临通过“发放点”（PODs）向受影响人群发放治疗药物（即疫苗、抗生素等）的问题，通常伴随着需求随机性、异质效用（例如，在疫苗分发中，某些人群可能需要被优先考虑）以及存储有限等复杂性。我们构建了一个包含两层决策（及决策者）的分层 Markov 决策过程（MDP）模型：上层决策来自一个库存规划者，它“控制”着一个下层动态问题，该下层问题优化考虑了随机 PODs 集合的异质效用函数的发放决策。随后，我们推导了该 MDP 模型的结构性质，并提出了一种近似动态规划（ADP）算法，该算法利用了策略空间和价值空间中的结构（分别为状态相关的基准库存和凹性）。该算法可被视为一种 actor-critic 方法；据我们所知，本文是首次在 actor-critic 框架内联合利用策略与价值结构的工作。我们证明了策略和价值函数近似均以概率一收敛至其各自的最优对应物，并提供了全面的数值分析，表明与其他 ADP 技术相比，经验收敛速率有所提升。最后，我们展示了基于聚合版本的算法如何应用于一个现实案例研究，即在持续的阿片类药物危机中，由急救人员发放纳洛酮（一种过量逆转药）的问题。