面向患者子群不平衡的电解质补充的组合Q学习
机器学习
2026-05-12 v2 人工智能
摘要
强化学习(RL)是解决序贯决策任务的有效框架。然而,由于患者间治疗反应的异质性,在医疗环境中应用RL方法颇具挑战。一些患者可采用标准方案治疗,而另一些(如慢性病患者)需要个性化治疗规划。传统RL方法常未能考虑此异质性,因其假设所有患者对治疗的反应方式相同(即转移动态共享)。我们提出组合拟合迭代(CFQI),其利用组合任务结构来表示医疗环境中的异质性治疗反应。一个组合任务由同一任务的若干变体组成,各变体难度递增;求解较简单变体可高效求解较难变体。CFQI使用具有各任务变体独立模块的组合值函数,从而在学习各变体不同策略的同时利用共享知识。我们使用Cartpole环境验证CFQI性能,并用CFQI为患肾病与未患肾病的患者推荐电解质补充。结果表明CFQI即便在类不平衡下也具鲁棒性,能实现跨患者子群的有效信息利用。CFQI在具有已知组合结构的临床应用场景中大有前景。
引用
@article{arxiv.2110.02879,
title = {Compositional Q-learning for electrolyte repletion with imbalanced patient sub-populations},
author = {Aishwarya Mandyam and Andrew Jones and Jiayu Yao and Krzysztof Laudanski and Barbara Engelhardt},
journal= {arXiv preprint arXiv:2110.02879},
year = {2026}
}