引导式蒙特卡洛树搜索算法的强化学习应用于放射治疗中的射束方向选择
医学物理
2020-04-15 v1 计算机视觉与模式识别
机器学习
图像与视频处理
摘要
由于组合问题规模庞大，当前用于放射治疗的射束方向优化算法（如列生成（CG））通常是启发式或贪婪的，导致次优解。我们提出一种使用蒙特卡洛树搜索的强化学习策略，能够找到更优的射束方向集合且比 CG 耗时更短。我们采用了一种包含监督学习网络以引导蒙特卡洛树搜索（GTS）探索射束方向选择问题决策空间的强化学习结构。此前我们已训练了一个深度神经网络（DNN），其输入为患者解剖结构、器官权重和当前射束，然后近似射束适应度值，指示下一个最佳添加射束。该 DNN 被用于以概率方式引导蒙特卡洛决策树的分支遍历，从而向计划中添加新射束。为测试算法可行性，我们使用 13 名测试前列腺癌患者求解 5 射束计划，这些患者不同于最初训练 DNN 的 57 名训练与验证患者。为展示 GTS 相对于其他搜索方法的优势，还给出了包括引导搜索、均匀树搜索和随机搜索算法在内的其他三种搜索方法的性能。平均而言，GTS 优于所有其他方法，其平均在 237 秒内找到优于 CG 的解，而 CG 需 360 秒，并且在 1000 秒内以更低目标函数值找到解方面优于所有其他方法。使用我们的引导树搜索（GTS）方法，我们能够将计划靶区体积（PTV）覆盖维持在 1% 误差内，并降低身体、直肠、左右股骨头的危险器官（OAR）平均剂量，但膀胱平均剂量略有增加 1%。
引用
@article{arxiv.2004.06244,
title = {A reinforcement learning application of guided Monte Carlo Tree Search algorithm for beam orientation selection in radiation therapy},
author = {Azar Sadeghnejad-Barkousaraie and Gyanendra Bohara and Steve Jiang and Dan Nguyen},
journal= {arXiv preprint arXiv:2004.06244},
year = {2020}
}