医学监督掩码自编码器：为医学图像分类设计更优掩码策略与高效微调方案
计算机视觉与模式识别
2023-05-11 v1
摘要
掩码自编码器（MAE）在过去一年中显示出在医学图像分类与语义分割上的显著潜力。由于人体组织高度相似，医学图像中哪怕细微的变化都可能代表病变组织，需细粒度检查以定位病变。MAE的随机掩码策略可能导致模型忽略病变区域。同时，预训练与微调阶段的不一致阻碍了MAE在医学图像分类中的性能与效率。为解决这些问题，本文提出医学监督掩码自编码器（MSMAE）。在预训练阶段，MSMAE通过监督训练获得的注意力图对医学图像进行精确掩码，有助于病变区域人体组织的表征学习。在微调阶段，MSMAE同样由注意力驱动对医学图像精确掩码。这提升了MSMAE的计算效率，同时增加了微调难度，间接提高了MSMAE医学诊断的质量。大量实验表明，MSMAE在三个官方疾病医学数据集上取得了最先进的性能。同时，MSMAE的迁移学习也展现了我们所提方法在医学语义分割任务上的巨大潜力。此外，与传统MAE相比，MSMAE在微调阶段将推理时间加速11.2%，并将浮点运算数（FLOPs）减少74.08%。
引用
@article{arxiv.2305.05871,
title = {Medical supervised masked autoencoders: Crafting a better masking strategy and efficient fine-tuning schedule for medical image classification},
author = {Jiawei Mao and Shujian Guo and Yuanqi Chang and Xuesong Yin and Binling Nie},
journal= {arXiv preprint arXiv:2305.05871},
year = {2023}
}