基于4D OCT图像数据的时空深度学习方法用于运动估计
图像与视频处理
2020-04-22 v1 计算机视觉与模式识别
摘要
目的。定位结构并估计特定目标区域的运动是手术干预过程中导航的常见问题。光学相干断层扫描(OCT)是一种具有高空间和时间分辨率的成像方式,已用于术中成像以及运动估计,例如在眼科手术或耳蜗开窗术中的应用。近来,已有研究采用深度学习方法估计模板与运动OCT图像之间的运动,以克服传统基于特征方法的不足。方法。我们研究使用OCT图像体积的时间流是否能提升基于深度学习的运动估计性能。为此,我们设计并评估了若干3D和4D深度学习方法,并提出了一种新的深度学习方案。同时,我们在模型输出处提出了一种时间正则化策略。结果。在不含额外标记的组织数据集上,我们使用4D数据的深度学习方法优于以往方法。性能最佳的4D架构达到了98.58%的相关系数(aCC),而先前3D深度学习方法的aCC为85.0%。此外,我们在输出处的时间正则化策略进一步将4D模型性能提升至99.06%的aCC。特别地,我们的4D方法在较大运动下表现良好,并对图像旋转和运动畸变具有鲁棒性。结论。我们提出用于基于OCT运动估计的4D时空深度学习。在组织数据集上,我们发现将4D信息用于模型输入可提升性能,同时保持合理的推理时间。我们的正则化策略表明,额外的时间信息在模型输出处同样有益。
引用
@article{arxiv.2004.10114,
title = {Spatio-Temporal Deep Learning Methods for Motion Estimation Using 4D OCT Image Data},
author = {Marcel Bengs and Nils Gessert and Matthias Schlüter and Alexander Schlaefer},
journal= {arXiv preprint arXiv:2004.10114},
year = {2020}
}
备注
Accepted for publication in the International Journal of Computer Assisted Radiology and Surgery (IJCARS)