AMAES：利用公共脑MRI数据进行增强掩码自编码器预训练以实现3D原生分割
图像与视频处理
2024-08-16 v2 人工智能
计算机视觉与模式识别
摘要
本研究探讨了自监督预训练对3D语义分割模型在大规模领域特定数据集上的影响。我们引入了BRAINS-45K，一个包含44,756个脑MRI体积的公共数据集，这是目前最大的公共数据集，并重新审视了若干预训练现代分割架构的设计选择，通过简化和优化最先进的方法，并结合一种新颖的数据增强策略。由此产生的AMAES框架基于掩码图像建模和基于强度的增强反转，并在内存使用、运行时间和微调性能之间取得平衡。以流行的U-Net和最近的MedNeXt架构作为骨干网络，我们评估了预训练对三个具有挑战性的下游任务的影响，涵盖单序列、低资源设置和跨域泛化。结果表明，使用AMAES在提出的数据集上进行预训练显著提升了大多数评估案例中的分割性能，并且尽管是在大规模数据集上预训练，使用增强进行预训练仍然是有益的。代码、模型检查点以及BRAINS-45K数据集可在 \url{https://github.com/asbjrnmunk/amaes} 获取。
引用
@article{arxiv.2408.00640,
title = {AMAES: Augmented Masked Autoencoder Pretraining on Public Brain MRI Data for 3D-Native Segmentation},
author = {Asbjørn Munk and Jakob Ambsdorf and Sebastian Llambias and Mads Nielsen},
journal= {arXiv preprint arXiv:2408.00640},
year = {2024}
}
备注
Accepted at ADSMI @ MICCAI 2024