基于深度强化学习高效调查家庭以预测疟疾患病可能性
机器学习
2017-11-28 v1 机器学习
摘要
我们构建了一个深度强化学习（RL）智能体，可通过询问个体家庭相关的问题来预测其疟疾检测呈阳性的可能性。该 RL 智能体学习确定下一步询问哪个调查问题，以及何时停止并基于其迄今的回答对疟疾可能性做出预测。智能体每问一个问题会受到小额惩罚，而做出正确/错误预测则获得大额奖励/惩罚；因此它必须学习在调查长度与最终预测准确性之间取得平衡。我们的 RL 智能体是一个深度 Q 网络（Deep Q-network），直接从问题回答中学习策略，其动作定义为每个可能的调查问题及每个可能的预测类别。我们聚焦于疟疾造成巨大健康负担的肯尼亚，并在来自 2015 年肯尼亚疟疾指标调查（Kenya Malaria Indicator Survey 2015）的 6481 户家庭数据集上训练该 RL 智能体。为考察调查问题对回答具有自适应性的重要性，我们将 RL 智能体与事先固定调查问题集合的监督学习（SL）基线进行比较。我们在留出集上评估预测准确率与所问调查问题数量，发现 RL 智能体仅平均使用 2.5 个问题即可达到 80% 的预测准确率。此外，RL 智能体学习到对回答进行自适应调查，并能在显著缩短调查长度的同时与 SL 基线在预测准确率上相匹配。
引用
@article{arxiv.1711.09223,
title = {Malaria Likelihood Prediction By Effectively Surveying Households Using Deep Reinforcement Learning},
author = {Pranav Rajpurkar and Vinaya Polamreddi and Anusha Balakrishnan},
journal= {arXiv preprint arXiv:1711.09223},
year = {2017}
}
备注
Accepted at NIPS 2017 Workshop on Machine Learning for Health (NIPS 2017 ML4H)