S5CL：通过层次对比学习统一全监督、自监督与半监督学习
计算机视觉与模式识别
2022-03-15 v1 机器学习
摘要
在计算病理学领域，我们常面临标注稀缺与大量无标签数据的问题。处理该问题的一种方法是半监督学习，其通常拆分为自监督预训练任务与后续的模型微调。在此，我们通过引入 S5CL（一种面向全监督、自监督与半监督学习的统一框架）将这一两阶段训练压缩为一阶段。通过为带标签、无标签及伪标签图像定义三种对比损失，S5CL 能够学习反映距离关系层次结构的特征表示：相似图像及其增强样本嵌入距离最近，其次是同类别中外观不同的图像，而不同类别的图像距离最大。此外，S5CL 允许我们灵活组合这些损失以适应不同场景。我们在两个公开组织病理学数据集上对该框架的评估表明，在标签稀疏情况下有显著提升：对于 H&E 染色的结直肠癌数据集，与有监督交叉熵损失相比准确率提升高达 9%；对于来自白血病患者的血液涂片的单白细胞高度不平衡数据集，F1 分数提升高达 6%。
引用
@article{arxiv.2203.07307,
title = {S5CL: Unifying Fully-Supervised, Self-Supervised, and Semi-Supervised Learning Through Hierarchical Contrastive Learning},
author = {Manuel Tran and Sophia J. Wagner and Melanie Boxberg and Tingying Peng},
journal= {arXiv preprint arXiv:2203.07307},
year = {2022}
}