面向高性价比医学诊断的深度强化学习
机器学习
2023-03-01 v2 人工智能
摘要
当医学检测昂贵或耗时，动态诊断是可取的。本工作中，我们使用强化学习（RL）寻找动态策略，基于既往观测顺序选择化验面板，以低成本确保准确检测。临床诊断数据常高度不平衡；因此，我们旨在最大化F_1分数而非错误率。然而，优化非凹的F_1分数并非经典RL问题，从而使标准RL方法失效。为补救此问题，我们提出一种奖励塑形方法，利用F_1分数的性质与策略优化的对偶性，可证明地找到预算约束下F_1分数最大化的所有帕累托最优策略集合。为处理组合复杂的状态空间，我们提出半模型基深度诊断策略优化（SM-DDPO）框架，兼容端到端训练与在线学习。SM-DDPO在多种临床任务上测试：铁蛋白异常检测、脓毒症死亡预测与急性肾损伤诊断。真实世界数据实验验证SM-DDPO训练高效并识别出所有帕累托前沿解。在所有任务中，SM-DDPO能以高达85%的检测成本削减实现最先进诊断准确率（某些情况高于传统方法）。代码见[https://github.com/Zheng321/Deep-Reinforcement-Learning-for-Cost-Effective-Medical-Diagnosis]。
引用
@article{arxiv.2302.10261,
title = {Deep Reinforcement Learning for Cost-Effective Medical Diagnosis},
author = {Zheng Yu and Yikuan Li and Joseph Kim and Kaixuan Huang and Yuan Luo and Mengdi Wang},
journal= {arXiv preprint arXiv:2302.10261},
year = {2023}
}
备注
Accepted to ICRL 2023