NeuroSeg 遇上 DINOv3：将 2D 自监督视觉先验迁移至 3D 神经元分割
计算机视觉与模式识别
2026-03-25 v1
摘要
2D 视觉基础模型，如 DINOv3，这是一种在大规模自然图像上进行自监督训练的模型，已显示出强大的零样本泛化能力，捕获丰富的全局上下文和细粒度结构线索。然而，类似的 3D 基础模型尚缺乏用于下游体积神经影像的模型，主要由于 3D 图像获取的挑战以及高质量标注数据的稀缺。为解决这一问题，我们提出采用 DINOv3 学习到的 2D 视觉表征来适配 3D 生物医学分割模型，以实现更数据高效且结构忠实的神经元重建。具体而言，我们设计了一种基于膨胀的适应策略，将 2D 滤波器膨胀为 3D 算子，同时保留 DINOv3 的语义先验知识，并适应 3D 神经元体块。此外，我们引入一种拓扑感知的骨架损失，以显式强制图结构神经元树枝重建的结构忠实性。在四个神经图像数据集上进行的大量实验，包括两个来自 BigNeuron 的数据集以及两个公开数据集 NeuroFly 和 CWMBS，均显示出对比 SOTA 方法在重建精度上的持续性改进，平均分别在 Entire Structure Average 中提升 2.9%，在 Different Structure Average 中提升 2.8%，在 Percentage of Different Structure 中提升 3.8%。代码：https://github.com/yy0007/NeurINO。
引用
@article{arxiv.2603.23104,
title = {NeuroSeg Meets DINOv3: Transferring 2D Self-Supervised Visual Priors to 3D Neuron Segmentation via DINOv3 Initialization},
author = {Yik San Cheng and Runkai Zhao and Weidong Cai},
journal= {arXiv preprint arXiv:2603.23104},
year = {2026}
}
备注
17 pages, 12 figures, and 11 tables. Accepted to CVPR 2026