无监督表示学习结合伪标签监督自蒸馏：一种罕见病分类的新方法
计算机视觉与模式识别
2021-10-12 v1
摘要
罕见病以低患病率为特征，且常为慢性致残或危及生命。基于影像的罕见病分类因训练样本严重匮乏而具挑战性。少样本学习（FSL）方法通过从常见疾病与正常对照的大型基数据集中提取可泛化先验知识，并将知识迁移至罕见病来应对该挑战。然而，多数现有方法要求基数据集有标签，且未充分利用珍贵的罕见病样本。为此，我们在本工作中提出一种新颖的罕见病分类混合方法，具有针对上述缺陷的两个关键创新。第一，我们采用基于自监督对比损失的无监督表示学习（URL），从而消除基数据集标注的开销。第二，我们将 URL 与伪标签监督分类相整合，以对罕见病知识进行有效自蒸馏，构成一种在基数据集上兼具无监督与（伪）监督学习优势的混合法。对罕见皮肤病变分类的实验结果表明，我们的混合法通过有效整合 URL 与伪标签驱动的自蒸馏，大幅优于现有 FSL 方法（包括使用全监督基数据集者），从而确立了新的 SOTA。
引用
@article{arxiv.2110.04558,
title = {Unsupervised Representation Learning Meets Pseudo-Label Supervised Self-Distillation: A New Approach to Rare Disease Classification},
author = {Jinghan Sun and Dong Wei and Kai Ma and Liansheng Wang and Yefeng Zheng},
journal= {arXiv preprint arXiv:2110.04558},
year = {2021}
}
备注
Published in proceedings of MICCAI 2021