基于并行多智能体强化学习的大规模头颈癌碳离子治疗自动规划
机器学习
2025-11-05 v1 医学物理
摘要
头颈癌 (HNC) 规划困难，因为多个危及器官 (OAR) 邻近复杂靶区。调强碳离子放疗 (IMCT) 提供了优越的剂量适形度和 OAR 保护，但由于相对生物效应 (RBE) 建模而依然缓慢，导致许多治疗规划参数 (TPP) 的调优费力、依赖经验且往往非最优。近期的深度学习 (DL) 方法受限于数据偏差和计划可行性，而强化学习 (RL) 难以高效探索呈指数级增长的 TPP 搜索空间。我们提出了一种可扩展的多智能体 RL (MARL) 框架，用于并行调优 IMCT 中的 45 个 TPP。它采用集中训练分布执行 (CTDE) 的 QMIX 主干，结合 Double DQN、Dueling DQN 和循环编码 (DRQN)，以在高维非平稳环境中实现稳定学习。为提高效率，我们 (1) 使用紧凑的历史 DVH 向量作为状态输入，(2) 应用线性动作到价值的转换，将小的离散动作映射为均匀的参数调整，(3) 设计了与计划评分一致的绝对、临床知情的分段奖励。同步多进程 worker 系统与 PHOENIX TPS 交互，以实现并行优化和加速数据收集。在头颈癌数据集（10例训练，10例测试）上，该方法同时调优了 45 个参数，并产生了与专家手动计划相当或更优的计划（相对计划评分：RL vs 手动 ），其中五个 OAR 有显著（p值 0.05）改善。该框架高效探索高维 TPP 空间，并通过与 TPS 直接交互生成具有临床竞争力的 IMCT 计划，显著改善了 OAR 保护。
引用
@article{arxiv.2511.02314,
title = {Large-scale automatic carbon ion treatment planning for head and neck cancers via parallel multi-agent reinforcement learning},
author = {Jueye Zhang and Chao Yang and Youfang Lai and Kai-Wen Li and Wenting Yan and Yunzhou Xia and Haimei Zhang and Jingjing Zhou and Gen Yang and Chen Lin and Tian Li and Yibao Zhang},
journal= {arXiv preprint arXiv:2511.02314},
year = {2025}
}