语义场景图用于超声图像解释与扫描指导
计算机视觉与模式识别
2025-06-27 v2 人工智能
机器学习
图像与视频处理
摘要
理解医学超声图像 remains 挑战 due to significant visual variability caused by differences in imaging and acquisition parameters。近期大型语言模型 (LLM) 的进展被用于自动生成面向具备足够生理知识的临床医生的术语丰富总结。然而，提高超声可解释性和基本扫描指导的日益增长需求，尤其是在非专家用户（例如在点 care 场景）中，尚未得到探索。在本研究中，我们首先引入面向超声图像的场景图 (scene graph, SG) 以解释图像内容并为普通用户提供扫描指导。首先，通过基于转换器的单阶段方法计算超声场景图，消除对显式目标检测的需求。为了为普通用户生成可理解的图像解释，使用户查询进一步通过LLM细化抽象场景图表示。此外，探索了预测场景图在引导超声扫描以获取当前成像视图中缺失解剖结构方面的潜力，帮助普通用户实现更标准和完整的解剖探索。该方法在包括左颈部和右颈部图像（包括动脉和甲状腺）的五名志愿者图像上进行了验证。结果表明，该方法有潜力在最大程度上 democratize 超声，通过增强其可解释性和可用性为普通用户。
引用
@article{arxiv.2506.19683,
title = {Semantic Scene Graph for Ultrasound Image Explanation and Scanning Guidance},
author = {Xuesong Li and Dianye Huang and Yameng Zhang and Nassir Navab and Zhongliang Jiang},
journal= {arXiv preprint arXiv:2506.19683},
year = {2025}
}