AC-Norm：通过仿射协同归一化实现医学图像分析的有效微调
计算机视觉与模式识别
2023-11-17 v1
摘要
受近期自监督学习 (SSL) 趋势的推动，“预训练然后微调”的范式已被广泛探索，以提升标注有限的临床应用性能。先前关于模型微调的文献主要关注正则化项和特定策略模型，而源模型与目标模型之间通道的不对齐尚未得到足够重视。在本工作中，我们重新审视了批量归一化 (BN) 层的动态，并观察到 BN 的可训练仿射参数可作为领域信息的敏感指示器。因此，我们提出了用于微调的仿射协同归一化 (AC-Norm)，它根据跨领域通道相关性动态重新校准目标模型中的通道，且不增加额外参数。基于单步反向传播，AC-Norm 也可用于衡量预训练模型的迁移能力。我们在将多种预训练模型迁移到糖尿病视网膜病变分级、视网膜血管分割、CT 肺结节分割/分类、CT 肝肿瘤分割和 MRI 心脏分割任务上，将 AC-Norm 与原始微调及最先进的微调方法进行了评估。大量实验表明，即使在最先进方法无增益的显著领域偏移下，AC-Norm 也一致地以高达 4% 的提升优于原始微调。我们还证明了 AC-Norm 在快速迁移能力估计方面的能力。我们的代码可在 https://github.com/EndoluminalSurgicalVision-IMR/ACNorm 获取。
引用
@article{arxiv.2307.15282,
title = {AC-Norm: Effective Tuning for Medical Image Analysis via Affine Collaborative Normalization},
author = {Chuyan Zhang and Yuncheng Yang and Hao Zheng and Yun Gu},
journal= {arXiv preprint arXiv:2307.15282},
year = {2023}
}