基于条件化投影器的增强感知自监督学习
计算机视觉与模式识别
2024-10-22 v4 机器学习
摘要
自监督学习（SSL）是一种利用无标签数据进行学习的强大技术。通过学习与所施加的数据增强保持不变，SimCLR 和 MoCo 等方法可以达到与有监督方法相当的质量。然而，这种不变性可能不利于解决依赖于预训练中所用增强所影响的特征（如颜色）的下游任务。在本文中，我们提出通过修改投影器网络（自监督架构的常见组件）来在表示空间中培养对此类特征的敏感性。具体而言，我们向投影器补充关于应用于图像的数据增强的信息。为了让投影器在解决 SSL 任务时利用这一辅助条件信息，特征提取器学会在其表示中保留增强信息。我们的方法被称为条件化增强感知自监督学习（Conditional Augmentation-aware Self-supervised Learning, CASSLE），可直接应用于典型的联合嵌入 SSL 方法，而与其目标函数无关。此外，它不需要对网络架构做重大改动，也不需要下游任务的先验知识。除对不同数据增强的敏感性分析外，我们进行了一系列实验，表明 CASSLE 优于多种 SSL 方法，在多个下游任务中达到最先进的性能。
引用
@article{arxiv.2306.06082,
title = {Augmentation-aware Self-supervised Learning with Conditioned Projector},
author = {Marcin Przewięźlikowski and Mateusz Pyla and Bartosz Zieliński and Bartłomiej Twardowski and Jacek Tabor and Marek Śmieja},
journal= {arXiv preprint arXiv:2306.06082},
year = {2024}
}
备注
A short version of this paper appeared at the NeurIPS 2023 Workshop: Self-Supervised Learning - Theory and Practice (https://sslneurips23.github.io). The full paper was published (OA) in Knowledge-Based Systems (https://www.sciencedirect.com/science/article/pii/S0950705124012061)