FoPro-KD：面向长尾医学图像识别的傅里叶提示高效知识蒸馏
图像与视频处理
2023-12-13 v2 计算机视觉与模式识别
机器学习
摘要
利用公开可用模型的表征迁移是改进医学图像分类的一种有前景的技术，尤其在包含罕见疾病的长尾数据集中。然而，现有方法常忽视这些模型的频率依赖行为，从而限制了其在表征迁移及对罕见疾病泛化方面的有效性。本文中，我们提出FoPro-KD，一种新颖的框架，利用从冻结预训练模型学到的频率模式来增强其可迁移性与压缩性，并给出几点独特见解：1）我们证明，即便使用较小预训练模型的表征，利用公开可用预训练模型的表征也能显著提升性能，尤其是对罕见类别。2）我们观察到预训练模型表现出频率偏好，并通过我们提出的傅里叶提示生成器（FPG）加以探索，从而能够操纵输入图像中的特定频率，增强判别性表征迁移。3）通过在输入图像中放大或削弱这些频率，我们实现了高效知识蒸馏（EKD）。EKD促进了知识从预训练模型向较小模型的迁移。通过在罕见疾病普遍的长尾胃肠图像识别与皮肤病变分类上的大量实验，我们的FoPro-KD框架优于现有方法，使更易于获取的罕见疾病分类医学模型成为可能。代码见 https://github.com/xmed-lab/FoPro-KD。
引用
@article{arxiv.2305.17421,
title = {FoPro-KD: Fourier Prompted Effective Knowledge Distillation for Long-Tailed Medical Image Recognition},
author = {Marawan Elbatel and Robert Martí and Xiaomeng Li},
journal= {arXiv preprint arXiv:2305.17421},
year = {2023}
}
备注
Accepted at IEEE TMI, code is available at https://github.com/xmed-lab/FoPro-KD