面对低类别变异性条件下挑战性 DINOv3 基础模型：基于胎儿脑部超声的案例研究
计算机视觉与模式识别
2025-11-05 v1 图像与视频处理
摘要
目的：本研究首次全面评估在低类别变异性条件下应用基础模型于胎儿超声（US）成像。尽管近期视觉基础模型如 DINOv3 在医学领域展现出卓越的可迁移性，但其在区分解剖学上相似结构方面的能力尚未系统性地被调查。我们通过聚焦胎儿脑标准平面——额内跨太阳穴（TT）、额内跨ventricular（TV）和额内跨脑桩（TC）——来填补这一空白，这些平面具有高度重叠的解剖特征，对于可靠的生物标志物评估构成严峻挑战。方法：为确保公平且可复现的评估，将所有公开的胎儿超声数据集汇聚整合为统一的多中心基准数据集 FetalUS-188K，包含超过 18 万张来自异构获取环境中标注的图像。DINOv3 采用自监督方式进行预训练，以学习超声感知特征表示。随后通过标准化的适应协议评估所获特征，包括冻结主干网络的线性探测和完全微调，分别基于两种初始化方案：(i) 在 FetalUS-188K 上预训练；(ii) 初始化于自然图像 DINOv3 权重。结果：在胎儿超声数据上预训练的模型始终优于基于自然图像初始化的模型，加权 F1 分数提升最高可达 20%。领域自适应预训练使网络能够保留区分中间平面（如 TV）所必需的细微回声和结构线索。结论：结果表明，通用基础模型在低类别变异性下难以泛化，而领域特定的预训练对于实现胎儿脑部超声成像中稳健且临床可靠的表示至关重要。
引用
@article{arxiv.2511.01915,
title = {Challenging DINOv3 Foundation Model under Low Inter-Class Variability: A Case Study on Fetal Brain Ultrasound},
author = {Edoardo Conti and Riccardo Rosati and Lorenzo Federici and Adriano Mancini and Maria Chiara Fiorentin},
journal= {arXiv preprint arXiv:2511.01915},
year = {2025}
}