自监督表征泛化能力的研究
机器学习
2021-09-21 v1 计算机视觉与模式识别
摘要
自监督学习(SSL)近期的进展使得从未标注数据中学习可泛化视觉表征成为可能。在预训练 SSL 表征上微调的深度学习模型性能与在最先进监督学习(SL)表征上微调的模型相当。尽管 SSL 取得了进展,其泛化能力尚未被广泛研究。本文中,我们通过针对迁移学习分类任务进行基于领域的研究,对预训练 SSL 与 SL 表征的泛化能力进行了更深入的分析。表征从 ImageNet 源数据学习,然后使用两类目标数据集微调:与源数据集相似,以及与源数据集显著不同。我们通过预测精度以及预测置信度研究 SSL 和基于 SL 的模型的泛化能力。此外,我们分析了这些模型最终卷积层的归因,以理解它们如何推理数据的语义身份。我们表明 SSL 表征比 SL 表征更具泛化能力。我们通过考察 SSL 表征的不变性属性解释其泛化能力,该不变性被证明优于 SL 表征中观察到的不变性。
引用
@article{arxiv.2109.09150,
title = {A Study of the Generalizability of Self-Supervised Representations},
author = {Atharva Tendle and Mohammad Rashedul Hasan},
journal= {arXiv preprint arXiv:2109.09150},
year = {2021}
}
备注
Journal of Machine Learning With Applications (MLWA)