利用深度学习增强徒手三维光声与超声重建
图像与视频处理
2025-02-07 v1 人工智能
机器学习
摘要
本研究引入了一种带有全局-局部自注意力模块的运动学习网络（MoGLo-Net），以增强手持式光声与超声（PAUS）成像中的三维重建。标准的 PAUS 成像常受限于狭窄的视野以及无法有效可视化复杂三维结构。三维徒手技术通过配准连续二维图像进行三维重建，但在不依赖外部位置传感器的情况下，其精确运动估计面临重大挑战。MoGLo-Net 通过对自注意力机制的创新性改造来应对这些局限，该机制有效利用连续超声图像中的关键区域，如充分发育的散斑区域或高回声组织区域，以精确估计运动参数。这有助于从单帧图像中提取复杂特征。此外，我们设计了一种逐块相关操作，以生成与扫描运动高度相关的相关体。我们还开发了一种自定义损失函数，利用运动参数的特性，确保在最小化偏差的情况下进行鲁棒学习。实验评估表明，MoGLo-Net 在定量和定性性能指标上均超越了当前最先进的方法。此外，我们将三维重建技术的应用从简单的 B 型超声容积扩展到多普勒超声和光声成像，实现了脉管系统的三维可视化。本研究的源代码可在以下链接公开获取：https://github.com/guhong3648/US3D
引用
@article{arxiv.2502.03505,
title = {Enhancing Free-hand 3D Photoacoustic and Ultrasound Reconstruction using Deep Learning},
author = {SiYeoul Lee and SeonHo Kim and Minkyung Seo and SeongKyu Park and Salehin Imrus and Kambaluru Ashok and DongEon Lee and Chunsu Park and SeonYeong Lee and Jiye Kim and Jae-Heung Yoo and MinWoo Kim},
journal= {arXiv preprint arXiv:2502.03505},
year = {2025}
}