用于自监督预训练高效视觉表示学习的多重增广
计算机视觉与模式识别
2022-05-25 v1
摘要
近年来，自监督学习被研究以应对可用标注数据集的局限。在自监督学习的主要组成部分中，数据增广流水线是提升最终性能的一个关键因素。然而，多数研究者手动设计增广流水线，且有限的变换集合可能导致所学特征表示缺乏鲁棒性。本工作中，我们提出自监督表示学习的多重增广（MA-SSRL），其充分搜索各种增广策略以构建整体流水线，从而提升所学特征表示的鲁棒性。MA-SSRL成功学习不变特征表示，并为不同分布与领域数据集上的自监督预训练提供了高效、有效且可适应的数据增广流水线。MA-SSRL在迁移与半监督基准上优于先前SOTA方法，同时所需训练轮数更少。
引用
@article{arxiv.2205.11772,
title = {Multi-Augmentation for Efficient Visual Representation Learning for Self-supervised Pre-training},
author = {Van-Nhiem Tran and Chi-En Huang and Shen-Hsuan Liu and Kai-Lin Yang and Timothy Ko and Yung-Hui Li},
journal= {arXiv preprint arXiv:2205.11772},
year = {2022}
}