SASSL：通过神经风格迁移增强自监督学习
计算机视觉与模式识别
2024-11-05 v4 机器学习
机器学习
摘要
自监督学习中现有的数据增强虽然具有多样性，但未能保留自然图像的固有结构。这导致增强样本失真，语义信息受损，最终影响下游性能。为了克服这一局限性，我们提出了 SASSL：用于自监督学习的风格增强，这是一种基于神经风格迁移的新型数据增强技术。SASSL 解耦了图像中的语义和风格属性，并仅对其风格应用变换同时保留内容，从而生成能更好保留语义信息的多样化样本。与 MoCo、SimCLR 和 BYOL 等成熟的自监督方法相比，SASSL 将 ImageNet 上的 top-1 图像分类准确率提升了高达 2 个百分点，同时在各种数据集上实现了卓越的迁移学习性能。由于 SASSL 可以作为数据增强流水线的一部分异步执行，因此在预训练吞吐量不变的情况下即可获得这些性能提升。
引用
@article{arxiv.2312.01187,
title = {SASSL: Enhancing Self-Supervised Learning via Neural Style Transfer},
author = {Renan A. Rojas-Gomez and Karan Singhal and Ali Etemad and Alex Bijamov and Warren R. Morningstar and Philip Andrew Mansfield},
journal= {arXiv preprint arXiv:2312.01187},
year = {2024}
}
备注
Accepted at Transactions on Machine Learning Research (TMLR 2024)