复发性疾病的主动筛查：一种强化学习方法
机器学习
2021-04-20 v3 多智能体系统
摘要
主动筛查是控制结核病和流感等复发性传染病传播的常用方法。在该方法中，卫生工作者周期性地选取一部分人群进行筛查。然而，鉴于卫生工作者数量有限，在任何给定时间段内只能访问人群中很小的一部分。考虑到疾病的复发特性与快速传播，目标是在长时间范围内最小化感染数量。主动筛查可形式化为关于人群及其联系网络的序贯组合优化问题。该形式化中的主要计算挑战源于i）问题的组合本质，ii）序贯规划的需求，以及iii）人群传染性状态的不确定性。先前关于主动筛查的工作在充分考虑当前干预未来影响的同时，无法扩展到长时间范围。本文提出一种基于深度Q网络（DQN）的新型强化学习（RL）方法，带有若干旨在应对上述挑战的创新性适配。首先，我们使用图卷积网络（GCNs）表示利用底层接触网络节点相关性的Q函数。其次，为避免在每个时间段求解组合优化问题，我们将节点集选取分解为决策的子序列，并进一步设计以分层方式解决问题的两级RL框架。最后，为加速由奖励稀疏引起的RL缓慢收敛，我们将课程学习的思想纳入分层RL方法中。我们在多个真实世界网络上评估了我们的RL算法。
引用
@article{arxiv.2101.02766,
title = {Active Screening for Recurrent Diseases: A Reinforcement Learning Approach},
author = {Han-Ching Ou and Haipeng Chen and Shahin Jabbari and Milind Tambe},
journal= {arXiv preprint arXiv:2101.02766},
year = {2021}
}
备注
The short version of this paper appears in the proceedings of AAMAS-21