面向服务不足社区的公共卫生上下文：在线Restless Bandits的贝叶斯方法

公共卫生项目通常提供干预措施以鼓励项目依从性，有效分配干预措施对于产生最大的整体健康结果至关重要，尤其是在资源有限的 underserved 社区。这类资源分配问题通常被建模为具有未知底层转移动态的 restless 多臂老虎机（RMAB），因此需要在线强化学习（RL）。我们提出了用于上下文RMAB的贝叶斯学习（BCoR），这是一种针对RMAB的在线RL方法，新颖地将贝叶斯建模技术与汤普森采样相结合，以灵活建模公共卫生项目依从性问题中存在的复杂RMAB设置，即上下文和非平稳性。BCoR的关键优势在于能够利用臂内和臂间的共享信息，在干预稀缺且时间范围相对较短的环境中快速学习未知的RMAB转移动态，这在公共卫生应用中很常见。实验上，BCoR在一系列实验设置中实现了显著更高的有限样本性能，包括使用与ARMMAN（印度一家运营大规模孕产妇移动健康项目的非政府组织）合作开发的真实世界依从性数据的设置，展示了BCoR的实际效用和实际部署潜力。