Deep-Motion-Net：基于图神经网络的单视角2D投影中器官体积形状重建
计算机视觉与模式识别
2024-07-10 v1 人工智能
摘要
我们提出Deep-Motion-Net：一个端到端的图神经网络（GNN）架构，能够从单一在治疗期间获取的任意投影角度上的kV平面X射线图像中实现3D（体积）器官形状重建。估计和补偿治疗期间真实解剖动力学对于提高将计划剂量送达至靶标体积的能力，同时保留器官风险，因而提高治疗比例具有重要意义。仅利用治疗期间有限的成像且无需使用替代信号或侵入性 fiducial 标记即可实现这一目标具有吸引力。该模型学习从患者特有的模板和深层特征提取自任意投影角度上的kV图像中进行网格回归。2D-CNN编码器提取图像特征，四个特征池网络将这些特征融合到3D模板器官网格上。随后，基于ResNet的图注意力网络对特征编码网格进行变形。该模型使用合成生成的器官动力学实例及其对应的kV图像进行训练。后者通过变形参考CT体积（与模板网格对齐），在所需投影角度上创建数字重建射线（DRR），并使用条件CycleGAN模型进行DRR到kV风格迁移。该整体框架在合成呼吸动力学情景下进行了定量测试，并在肝癌患者全扫描系列期间获取的治疗图像上进行了定性测试。合成运动测试数据集的平均预测误差为0.16±0.13 mm、0.18±0.19 mm、0.22±0.34 mm和0.12±0.11 mm。平均峰值预测误差分别为1.39 mm、1.99 mm、3.29 mm和1.16 mm。
引用
@article{arxiv.2407.06692,
title = {Deep-Motion-Net: GNN-based volumetric organ shape reconstruction from single-view 2D projections},
author = {Isuru Wijesinghe and Michael Nix and Arezoo Zakeri and Alireza Hokmabadi and Bashar Al-Qaisieh and Ali Gooya and Zeike A. Taylor},
journal= {arXiv preprint arXiv:2407.06692},
year = {2024}
}