用于自由手三维超声重建的深度运动网络
计算机视觉与模式识别
2022-07-04 v1 图像与视频处理
摘要
自由手三维超声(US)因其低成本和无限制的视野而具有重要的临床价值。近年来,深度学习算法已使其摆脱对笨重且昂贵的外部定位设备的依赖。然而,提升重建精度仍受困于困难的 elevation 位移估计与较大的累积漂移。在此背景下,我们提出一种新颖的深度运动网络(MoNet),从速度视角整合图像与一种称为惯性测量单元(IMU)的轻量传感器,以缓解上述障碍。我们的贡献有两点。首先,我们首次引入 IMU 加速度来估计面外 elevation 位移。我们提出一种时序多分支结构来挖掘低信噪比(SNR)加速度中的有价值信息。其次,我们提出一种多模态在线自监督策略,利用 IMU 信息作为弱标签进行自适应优化,以减少漂移误差并进一步改善加速度噪声的影响。实验表明,我们提出的方法实现了优越的重建性能,全面超越最先进(SOTA)方法。
引用
@article{arxiv.2207.00177,
title = {Deep Motion Network for Freehand 3D Ultrasound Reconstruction},
author = {Mingyuan Luo and Xin Yang and Hongzhang Wang and Liwei Du and Dong Ni},
journal= {arXiv preprint arXiv:2207.00177},
year = {2022}
}
备注
Early accepted by MICCAI-2022