DualTrack: 无传感器3D超声声需局部与全局上下文
计算机视觉与模式识别
2026-04-20 v2
摘要
三维超声(US) imaging相较于传统2D影像具有许多临床优势,但由于传统3D系统的高成本和复杂性,其广泛应用受到限制。无传感器3D US是一种新兴方法,利用深度学习从2D US图像序列中估计3D探头轨迹,具有前景。局部特征(如散斑图案)可帮助预测帧间运动,而全局特征(如粗糙形状和解剖结构)可将扫描置于解剖结构相对位置,并帮助预测其大致形状。在先前的方法中,全局特征要么被忽略,要么与局部特征提取紧密耦合,限制了对这两种互补方面的稳健建模能力。我们提出DualTrack,一种新的双编码器架构,利用解耦的局部编码器和全局编码器针对其各自的特征提取尺度进行专业化。局部编码器使用密集时空卷积来捕获细粒度特征,而全局编码器则利用图像骨干网络(如2D CNN或基础模型)和时序注意力层来嵌入高级别解剖特征和长程依赖关系。随后,一个轻量级融合模块将这些特征组合以估计轨迹。在大型公开基准测试上的实验结果表明,DualTrack实现了最新的精度,并实现了全球一致的3D重建,超越了之前的方法,平均重建误差小于5 mm。
引用
@article{arxiv.2509.09530,
title = {DualTrack: Sensorless 3D Ultrasound needs Local and Global Context},
author = {Paul F. R. Wilson and Matteo Ronchetti and Rüdiger Göbl and Viktoria Markova and Sebastian Rosenzweig and Raphael Prevost and Parvin Mousavi and Oliver Zettinig},
journal= {arXiv preprint arXiv:2509.09530},
year = {2026}
}