RMSim:基于静态患者扫描的受控呼吸运动仿真
计算机视觉与模式识别
2023-01-30 v1
摘要
本工作旨在从静态患者扫描生成真实的解剖形变。具体而言,我们提出一种通过深度学习驱动的呼吸运动仿真生成这些形变/增强的方法,为验证可变形图像配准(DIR)算法和驱动更精确的基于深度学习的DIR提供真值。我们提出一种新颖的3D Seq2Seq深度学习呼吸运动模拟器(RMSim),其从4D-CT图像学习并在给定静态CT图像时预测未来呼吸时相。所预测的呼吸模式由不同时相的时间变化位移矢量场(DVF)表示,并通过1D呼吸曲线的辅助输入进行调制,使得曲线中更大振幅导致更显著的预测形变。堆叠的3D-ConvLSTM用于捕获时空呼吸模式。训练损失包括DVF中的平滑损失以及预测时相图像与真值时相图像之间的均方误差。空间变换器利用预测DVF对静态CT形变以生成预测时相图像。140名内部患者的10时相4D-CT用于训练和测试RMSim。训练后的RMSim随后用于增强一个公开DIR挑战数据集以训练VoxelMorph,展示RMSim生成形变增强的有效性。我们使用私人和公开基准数据集(健康与癌症患者)验证了RMSim输出。所提方法可用于验证DIR算法以及用于患者特异性增强以改进深度学习DIR算法。代码、预训练模型和增强的DIR验证数据集将在https://github.com/nadeemlab/SeqX2Y发布。
引用
@article{arxiv.2301.11422,
title = {RMSim: Controlled Respiratory Motion Simulation on Static Patient Scans},
author = {Donghoon Lee and Ellen Yorke and Masoud Zarepisheh and Saad Nadeem and Yu-Chi Hu},
journal= {arXiv preprint arXiv:2301.11422},
year = {2023}
}
备注
Physics in Medicine & Biology 2023. Last two authors contributed equally