MedNNS：基于超网络的医学任务自适应神经网络搜索
计算机视觉与模式识别
2025-04-24 v2 人工智能
机器学习
摘要
深度学习（DL）在医学影像领域取得了显著进展。然而，适应医学任务的深度学习模型仍面临重大挑战，主要源于两个关键因素：（1）架构选择，因为不同任务需要特定的模型设计；（2）权重初始化，这直接影响模型的收敛速度和最终性能。虽然从ImageNet进行迁移学习是广泛采用的策略，但其有效性受到自然图像与医学图像差异大的限制。为此，我们引入医学神经网络搜索（Medical Neural Network Search, MedNNS），这是第一个用于医学影像应用的神经网络搜索框架。MedNNS通过构建基于模型间表现良好配合度的元空间，联合优化架构选择和权重初始化。我们采用基于超网络的方法构建该空间，使模型库规模相较于前沿方法扩大了51倍。此外，我们引入秩损失（rank loss）和Fréchet惠希奇距离（FID）损失以捕捉模型间和数据集间的关系，从而实现更精确的元空间对齐。跨多个数据集的实验结果表明，MedNNS显著优于ImageNet预训练的深度学习模型和领先的神经网络架构搜索（NAS）方法，在数据集上实现平均准确率提升1.7个百分点，同时收敛速度显著加快。代码和处理后的元空间已提供于 https://github.com/BioMedIA-MBZUAI/MedNNS。
引用
@article{arxiv.2504.15865,
title = {MedNNS: Supernet-based Medical Task-Adaptive Neural Network Search},
author = {Lotfi Abdelkrim Mecharbat and Ibrahim Almakky and Martin Takac and Mohammad Yaqub},
journal= {arXiv preprint arXiv:2504.15865},
year = {2025}
}