超参数与数据增强在自监督学习中的重要性
机器学习
2022-07-19 v1 人工智能
计算机视觉与模式识别
摘要
自监督学习（SSL）已成为深度学习研究中非常活跃的领域，被广泛用作分类及其他任务的预训练方法。然而，该领域快速发展的代价是：不同论文的训练流水线差异显著，这带来了潜在关键的混杂因素。在此，我们表明超参数的选择和数据增强策略确实会对性能产生巨大影响。为阐明这些被忽视的因素并帮助最大化SSL的威力，我们对这些组件进行超参数化并使用贝叶斯优化进行优化，展示了在SimSiam SSL方法下跨多个数据集的性能提升。认识到数据增强对SSL的重要性，我们还引入了一种新的自动化数据增强算法GroupAugment，它考虑增强的组并优化组间采样。与为监督学习设计的算法不同，GroupAugment在我们考虑的所有数据集上均实现了持续的高线性评估精度。总体而言，我们的结果指出了数据增强对SSL的重要且可能被低估的作用。
引用
@article{arxiv.2207.07875,
title = {On the Importance of Hyperparameters and Data Augmentation for Self-Supervised Learning},
author = {Diane Wagner and Fabio Ferreira and Danny Stoll and Robin Tibor Schirrmeister and Samuel Müller and Frank Hutter},
journal= {arXiv preprint arXiv:2207.07875},
year = {2022}
}
备注
Accepted at the ICML 2022 Pre-training Workshop