面向医学图像分类的类别关系保持对比知识蒸馏
计算机视觉与模式识别
2021-07-08 v1
摘要
用于训练深度分类模型的医学图像数量通常极为匮乏，使这些深度模型易对训练数据过拟合。研究表明，知识蒸馏（KD）——尤其是对抗扰动更鲁棒的 mean-teacher 框架——可帮助缓解过拟合效应。然而，由于医学图像存在更高的类内方差与类别不平衡，直接将 KD 从计算机视觉迁移至医学图像分类会导致性能下降。为解决这些问题，我们提出一种新颖的类别关系保持对比知识蒸馏（CRCKD）算法，以常用的 mean-teacher 模型作为监督者。具体而言，我们提出一种新颖的类别引导对比蒸馏（CCD）模块，在教师与学生模型中拉近同类正图像对，同时推远不同类的负图像对。在此正则化下，学生模型的特征分布呈现出更高的类内相似度与类间方差。此外，我们提出类别关系保持（CRP）损失，以鲁棒且类别平衡的方式蒸馏教师的关系知识。得益于 CCD 与 CRP，我们的 CRCKD 算法能更全面地蒸馏关系知识。在 HAM10000 与 APTOS 数据集上的大量实验证明了所提 CRCKD 方法的优越性。
引用
@article{arxiv.2107.03225,
title = {Categorical Relation-Preserving Contrastive Knowledge Distillation for Medical Image Classification},
author = {Xiaohan Xing and Yuenan Hou and Hang Li and Yixuan Yuan and Hongsheng Li and Max Q. -H. Meng},
journal= {arXiv preprint arXiv:2107.03225},
year = {2021}
}