利用硬度感知动态课程学习改进自监督学习：在数字病理学的应用
计算机视觉与模式识别
2021-10-07 v2 机器学习
摘要
自监督学习（SSL）近来展现出巨大潜力，可学习对许多图像分析任务有用的通用视觉表示。尽管取得了显著成功，现有 SSL 方法在标记训练样本数量较少或迁移域间域偏移较大时，难以泛化到下游任务。本文中，我们试图通过课程学习的视角，提出一种硬度感知动态课程学习（HaDCL）方法来改进自监督预训练表示。为提高 SSL 的鲁棒性与泛化能力，我们在小批量下游微调期间通过易到难及难到极难样本动态利用渐进更难的示例。我们发现，通过渐进分阶段课程学习，预训练表示得到显著增强，并可适应域内与域外分布数据。我们在三个组织学基准数据集上针对块级与切片级分类问题进行了广泛验证。我们的基于课程的微调相较标准微调取得显著提升，在域内与域外分布数据上曲线下面积（AUC）得分分别至少提升 1.7% 与 2.2%。此外，我们凭经验表明，我们的方法更具通用性，可适配任意 SSL 方法且不带来额外开销复杂度。同时，我们还梳理了组织病理学中基于块与基于切片的课程学习的作用，为 SSL 方法课程微调的成功提供实用见解。代码发布于 https://github.com/srinidhiPY/ICCV-CDPATH2021-ID-8。
引用
@article{arxiv.2108.07183,
title = {Improving Self-supervised Learning with Hardness-aware Dynamic Curriculum Learning: An Application to Digital Pathology},
author = {Chetan L Srinidhi and Anne L Martel},
journal= {arXiv preprint arXiv:2108.07183},
year = {2021}
}
备注
Accepted at ICCV 2021 CDpath workshop