利用2D视觉Transformer在自然图像上预训练,以提升3D神经元分割性能
计算机视觉与模式识别
2024-05-07 v1 人工智能
摘要
神经元重建是神经科学中的基础任务,通过3D光显微镜成像数据重建神经元的形态学。它在分析神经系统中神经元结构功能关系方面发挥着关键作用。然而,由于神经元数据集和高质量SWC标注的稀缺,仍然面临着为单一神经元重建开发稳健分割方法的挑战。为此,我们旨在从大规模自然图像数据中提炼共识知识,以辅助分割模型学习复杂的神经元结构。具体而言,本文提出了一种新颖的训练范式,利用在大规模自然图像上预训练的2D视觉Transformer模型,通过量身定制的2D到3D权重迁移策略,初始化基于Transformer的3D神经元分割模型。该方法在丰富的自然图像域与稀缺的神经元图像域之间建立知识共享连接,以数据高效的方式提升3D神经元分割能力。在一个流行的基准测试BigNeuron上,我们的方法相比使用相同训练样本量从零训练的模型性能提升了8.71%。
关键词
引用
@article{arxiv.2405.02686,
title = {Boosting 3D Neuron Segmentation with 2D Vision Transformer Pre-trained on Natural Images},
author = {Yik San Cheng and Runkai Zhao and Heng Wang and Hanchuan Peng and Weidong Cai},
journal= {arXiv preprint arXiv:2405.02686},
year = {2024}
}
备注
3 pages