EnSiam：基于集成表示的自监督学习
计算机视觉与模式识别
2023-05-24 v1 机器学习
摘要
近来，对比自监督学习——其表示邻近性依据样本身份确定——在无监督表示学习中取得了显著进展。SimSiam 是该领域中著名的例子，以简洁而强大的性能著称。然而，由于其结构特性，已知它对训练配置（如超参数和增强设置）的变化敏感。为解决此问题，我们关注对比学习与知识蒸馏中教师-学生框架之间的相似性。受基于集成的知识蒸馏方法启发，所提方法 EnSiam 旨在利用集成表示改进对比学习过程。这可提供稳定的伪标签，带来更优性能。实验表明，EnSiam 在大多数情况下优于先前最先进（SOTA）方法，包括在 ImageNet 上的实验，显示出 EnSiam 能够学习高质量表示。
引用
@article{arxiv.2305.13391,
title = {EnSiam: Self-Supervised Learning With Ensemble Representations},
author = {Kyoungmin Han and Minsik Lee},
journal= {arXiv preprint arXiv:2305.13391},
year = {2023}
}