基于时空卷积LSTM学习4D纵向患者数据的肿瘤生长预测
计算机视觉与模式识别
2019-09-25 v2
摘要
通过体积医学影像观测进行预后肿瘤生长建模,有望改善肿瘤治疗与手术规划效果。卷积网络的最新进展已显示出比传统数学模型更高的未来肿瘤体积预测精度,表明基于深度学习的技术在解决该问题上具有巨大潜力。然而,当前基于2D块建模的方法无法充分利用肿瘤纵向4D(3D+时间)数据的时空影像上下文,且除体积外无法预测临床相关的肿瘤属性。本文中,我们利用卷积长短期记忆(ConvLSTM)来表述肿瘤生长过程,在单一网络内提取肿瘤静态影像表观并捕获其时间动态变化。我们将ConvLSTM扩展至时空域(ST-ConvLSTM),通过联合学习切片间3D上下文与来自多名患者研究的纵向或时间动态。我们的方法能以端到端可训练方式融合其他非影像患者信息。实验在迄今最大的33名患者4D纵向肿瘤数据集上进行。结果验证ST-ConvLSTM在预测未来肿瘤体积指标下产生83.2%±5.1%的Dice分数与11.2%±10.8%的RVD,均显著优于(p<0.05)线性模型、ConvLSTM和生成对抗网络(GAN)等对比方法。此外,我们的新方法可预测细胞密度与CT强度值。最后,我们将ST-ConvLSTM用于4D医学图像分割任务以证明其泛化性,在4D超声左心室内膜分割中取得86.3±1.2%的平均Dice分数,每名患者耗时3秒。
引用
@article{arxiv.1902.08716,
title = {Spatio-Temporal Convolutional LSTMs for Tumor Growth Prediction by Learning 4D Longitudinal Patient Data},
author = {Ling Zhang and Le Lu and Xiaosong Wang and Robert M. Zhu and Mohammadhadi Bagheri and Ronald M. Summers and Jianhua Yao},
journal= {arXiv preprint arXiv:1902.08716},
year = {2019}
}