面向头颈癌质子治疗的患者特异深度强化学习自动重规划

在面向头颈癌（HNC）的强度调制质子治疗（IMPT）期间，解剖学变化会导致 Bragg 峰位移，增加肿瘤欠剂量和器官风险（OAR）过剂量的风险。需要进行治疗重规划以维持临床可接受的治疗质量。然而，当前的手动重规划过程耗时且资源密集。我们提出了一种用于自动 IMPT 重规划的患者特异深度强化学习（DRL）框架，基于 150 点计划质量评分设计奖励函数，以解决临床目标之间的竞争问题。我们将规划过程形式化为强化学习问题，其中智能体学习控制策略以调整优化优先级，最大化计划质量。不同于基于人群的方法，本框架为每个患者使用其规划 CT 及模拟解剖变化（肿瘤进展和 regression）的增强解剖学，进行训练。这种患者特异方法利用治疗期间解剖学的相似性，实现有效的计划调整。我们实现了两种 DRL 算法，深度 Q 网络和近端策略优化，使用剂量-体积直方图（DVH）作为状态表示，采用 22 维动作空间进行优先级调整。在使用实际重规划 CT 数据的 8 名 HNC 患者上的评估显示，两种智能体将初始计划得分从 $120.78 \pm 17.18$ 提升至 $139.59 \pm 5.50$（DQN）和 $141.50 \pm 4.69$（PPO），超越人类规划师手动生成的重规划 ($136.32 \pm 4.79$)。临床验证确认，改进在不同解剖学变化下均导致更好的肿瘤覆盖和 OAR 保护。本工作突显了 DRL 在自适应质子治疗几何和剂量学复杂性方面的潜力，为离线自适应方案提供了高效解决方案，推动了在线自适应质子治疗的发展。