DTR-Bench：基于强化学习的动态治疗方案仿真环境与基准平台

强化学习（RL）因其在个人化医疗中优化动态治疗方案（DTR）的潜力，尤其是在药物剂量处方和药物推荐方面，受到日益关注。然而，一个显著挑战仍然存在：缺乏一个统一的框架来模拟多样化的医疗情景，以及对在这些情境下评估RL算法效果的全面分析。为此，我们引入了\textit{DTR-Bench}，一个由四个独立仿真环境构成的基准平台，专为常见的DTR应用场景设计，包括癌症化疗、放疗、糖尿病血糖管理以及败血症治疗。我们在这些场景中评估了各种最新RL算法，尤其是在真实世界面临的挑战（如药代动力学/药效动力学（PK/PD）变异、噪声和缺失数据）下的表现。我们的实验结果表明，在噪声和患者变异的存在下，RL算法之间的性能下降程度不同，其中一些算法甚至无法收敛。此外，我们观察到，在DTR情境中，使用时序观察表示并不始终导致性能提升。我们的发现强调了 developing robust, adaptive RL algorithms capable of effectively managing these complexities to enhance patient-specific healthcare 的必要性，以提高患者个体化医疗的效果。我们已在 https://github.com/GilesLuo/DTR-Bench 上开源基准数据集和代码。