中文

VA-Adapter:针对心导探针的超声基础模型适配

计算机视觉与模式识别 2026-05-19 v3

摘要

超声心动图是检测心脏疾病的关键工具,但其较陡的作业难度导致专业人员短缺。探针导向系统可助人获取高质量图像,为降低作业门槛提供了可行方案。然而,由于个体差异显著,鲁棒的探针导向仍具挑战性。这种差异表现为二维(2D)图像中低层特征的差异,使图像特征理解复杂化;也表现为个体三维(3D)结构的差异,使精确导航困难。为此,我们首先提出利用来自海量数据集中学习到的鲁棒图像表示。然而,将这些模型应用于探针导航并非易事,因为其缺乏对个体 3D 结构的理解能力。为此,我们精心设计了一种视觉-动作适配器(VA-Adapter),以在线注入理解个体 3D 结构的能力。具体而言,通过将 VA-Adapter 嵌入基础模型的图像编码器,该模型可从历史视觉-动作序列中推断心脏解剖结构,模拟超声心动图师的认知过程。在拥有超过 131 万样本的数据集上进行的广泛实验表明,VA-Adapter 在需要约 33 倍更少训练参数的情况下,优于强大的探针导向模型。代码已公开于 https://github.com/LeapLabTHU/VA-Adapter。

关键词

引用

@article{arxiv.2510.06809,
  title  = {VA-Adapter: Adapting Ultrasound Foundation Model to Echocardiography Probe Guidance},
  author = {Teng Wang and Haojun Jiang and Yuxuan Wang and Zhenguo Sun and Yujiao Deng and Shiji Song and Gao Huang},
  journal= {arXiv preprint arXiv:2510.06809},
  year   = {2026}
}

备注

MICCAI2026 Early Accept Paper