中文

Neuralizer:无需重新训练的通用电神经图像分析

图像与视频处理 2023-05-10 v2 计算机视觉与模式识别

摘要

神经图像处理任务如分割、重建与配准是神经科学研究的核心。用于解决这些任务的鲁棒深度学习策略与架构往往相似。然而,当面对新任务或具有不同视觉特征的数据集时,实践者通常需训练新模型或微调已有模型。这是一个耗时的过程,对成千上万缺乏资源或机器学习专业知识的神经科学家与临床研究人员构成了实质性障碍。实践中,这导致深度学习的采用不足,且神经科学工具由经典框架主导。我们提出 Neuralizer,一种无需重新训练或微调即可泛化至未见过的神经成像任务与模态的单模型。任务无需预先已知,且泛化在推理阶段的单次前向传播中发生。该模型可解决跨多种图像模态、采集方法与数据集的处理任务,并泛化至未训练过的任务与模态。我们在冠状切片上的实验表明,当仅有少量标注受试者可用时,我们的多任务网络无需在该任务上训练即可超越任务专用基线。

关键词

引用

@article{arxiv.2305.02644,
  title  = {Neuralizer: General Neuroimage Analysis without Re-Training},
  author = {Steffen Czolbe and Adrian V. Dalca},
  journal= {arXiv preprint arXiv:2305.02644},
  year   = {2023}
}

备注

Presented at CVPR 2023 Available on github: https://github.com/SteffenCzolbe/neuralizer