面向医学图像分析中所有网络架构的统一超初始化器
计算机视觉与模式识别
2022-06-09 v1
摘要
预训练对深度学习模型性能至关重要，尤其在训练数据有限的医学图像分析任务中。然而，现有预训练方法缺乏灵活性，因为一个模型的预训练权重无法被其他网络架构复用。本文提出一种与架构无关的超初始化器，仅需预训练一次即可良好初始化任意给定网络架构。所提初始化器是一个超网络，将下游架构作为输入图，并输出相应架构的初始化参数。我们通过多种医学影像模态上的大量实验结果展示了超初始化器的有效性与高效性，尤其在数据有限领域。此外，我们证明该算法可作为有利即插即用初始化器，复用于同模态下任意下游架构与任务（分类与分割皆可）。
引用
@article{arxiv.2206.03661,
title = {One Hyper-Initializer for All Network Architectures in Medical Image Analysis},
author = {Fangxin Shang and Yehui Yang and Dalu Yang and Junde Wu and Xiaorong Wang and Yanwu Xu},
journal= {arXiv preprint arXiv:2206.03661},
year = {2022}
}