基于深度学习的实时肾脏语义分割与增强现实辅助超声成像测量
图像与视频处理
2025-07-01 v1 人工智能
计算机视觉与模式识别
人机交互
机器学习
摘要
超声 (US) 因广泛可用且无辐射而被广泛采用，但因其动态特性和非标准成像平面而学习曲线陡峭。此外，需不断在 US 屏幕和患者之间切换焦点也带来挑战。为此，我们集成了基于深度学习 (DL) 的语义分割，用于实时 (RT) 自动化肾脏体积测量。体积测量是临床评估的关键，但传统方法耗时且易疲劳。该自动化使临床医生可专注于图像解读而非手动测量。辅以 DL 的增强现实 (AR) 可将显示内容直接映射到临床医生的视野中，从而提升人体工学并减少屏幕-患者转换时的认知负荷。我们提出两种基于 HoloLens-2 的 AR-DL 辅助 US 流程：一种通过应用程序编程接口实现无线传输，另一种支持任何提供视频输出的 US 设备以更广泛的可达性。我们采用 Open Kidney Dataset 和开源分割模型 (nnU-Net、Segmenter、YOLO 结合 MedSAM 和 LiteMedSAM) 对 RT 可行性和准确性进行评估。我们的开源 GitHub 管道包括模型实现、测量算法以及基于 Wi-Fi 的流媒体解决方案，提升了 US 在点-of-care 场景中的训练和诊断效率。
引用
@article{arxiv.2506.23721,
title = {Deep Learning-Based Semantic Segmentation for Real-Time Kidney Imaging and Measurements with Augmented Reality-Assisted Ultrasound},
author = {Gijs Luijten and Roberto Maria Scardigno and Lisle Faray de Paiva and Peter Hoyer and Jens Kleesiek and Domenico Buongiorno and Vitoantonio Bevilacqua and Jan Egger},
journal= {arXiv preprint arXiv:2506.23721},
year = {2025}
}