FreMIM：傅里叶变换结合掩码图像建模用于医学图像分割
计算机视觉与模式识别
2023-12-01 v3
摘要
研究界已见证自监督掩码图像建模（MIM）的强大潜力，其使模型能够从无标签数据中学习视觉表示。在本文中，为使密集预测任务兼顾关键的全局结构信息与局部细节，我们将视角转换到频域，并提出一种基于MIM的新框架FreMIM，用于自监督预训练以更好地完成医学图像分割任务。基于细节结构信息主要位于高频分量、高层语义丰富于低频分量的观察，我们进一步引入多阶段监督以引导预训练阶段的表示学习。在三个基准数据集上的大量实验显示了我们的FreMIM优于先前最先进的MIM方法。与从头训练的各种基线相比，我们的FreMIM能持续为模型性能带来可观提升。代码将公开于https://github.com/Rubics-Xuan/FreMIM。
引用
@article{arxiv.2304.10864,
title = {FreMIM: Fourier Transform Meets Masked Image Modeling for Medical Image Segmentation},
author = {Wenxuan Wang and Jing Wang and Chen Chen and Jianbo Jiao and Yuanxiu Cai and Shanshan Song and Jiangyun Li},
journal= {arXiv preprint arXiv:2304.10864},
year = {2023}
}
备注
Accepted by WACV 2024