FissionFusion：医学图像分析中的快速几何生成与分层汤化
计算机视觉与模式识别
2024-06-04 v2 人工智能
摘要
医学数据集匮乏且注释不完整，要求从更广泛的数据集如ImageNet或像CLIP这类预训练模型进行迁移学习。模型汤化（model soup）通过平均多个微调模型来提高在特定领域（In-Domain, ID）任务上的性能，并增强对外分布（Out-of-Distribution, OOD）数据的鲁棒性。然而，将这些方法应用于医学影像领域面临挑战，导致性能不佳。这主要源于数据复杂性带来的误差曲线特性差异，包括异构性、域迁移、类别不平衡以及训练与测试阶段之间分布迁移。为此，我们提出一种分层合并方法，基于模型的超参数配置，在不同层级进行局部和全局聚合。此外，为缓解在超参数搜索中训练大量模型的需求，我们引入一种基于循环学习率调度器的计算高效方法，在权重空间生成多个模型进行聚合。我们的方法在多个数据集上显著优于模型汤化方法（在HAM10000和CheXpert数据集上约提升6%），同时保持低的模型生成和选择计算成本。更重要的是，我们在OOD数据集上的表现优于模型汤化。代码已公开于https://github.com/BioMedIA-MBZUAI/FissionFusion。
引用
@article{arxiv.2403.13341,
title = {FissionFusion: Fast Geometric Generation and Hierarchical Souping for Medical Image Analysis},
author = {Santosh Sanjeev and Nuren Zhaksylyk and Ibrahim Almakky and Anees Ur Rehman Hashmi and Mohammad Areeb Qazi and Mohammad Yaqub},
journal= {arXiv preprint arXiv:2403.13341},
year = {2024}
}