如何训练你的ViT？视觉Transformer中的数据、数据增强与正则化
计算机视觉与模式识别
2022-06-24 v2 人工智能
机器学习
摘要
视觉Transformer（ViT）已被证明在图像分类、目标检测和语义图像分割等广泛的视觉应用中取得极具竞争力的性能。与卷积神经网络相比，视觉Transformer较弱的归纳偏置通常导致其在较小训练数据集上训练时更依赖模型正则化或数据增强（简称“AugReg”）。我们进行了系统的实证研究，以更好地理解训练数据量、AugReg、模型规模和计算预算之间的相互作用。作为该研究的一项结果，我们发现增加计算量和AugReg的组合可以产出与在数量级更多训练数据上训练的模型性能相同的模型：我们在公开的ImageNet-21k数据集上训练了多种规模的ViT模型，它们匹配或超越了在更大但未公开可用的JFT-300M数据集上训练的对应模型。
引用
@article{arxiv.2106.10270,
title = {How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers},
author = {Andreas Steiner and Alexander Kolesnikov and Xiaohua Zhai and Ross Wightman and Jakob Uszkoreit and Lucas Beyer},
journal= {arXiv preprint arXiv:2106.10270},
year = {2022}
}
备注
Andreas, Alex, Xiaohua and Lucas contributed equally. We release more than 50'000 ViT models trained under diverse settings on various datasets. Available at https://github.com/google-research/big_vision, https://github.com/google-research/vision_transformer and https://github.com/rwightman/pytorch-image-models TMLR review at https://openreview.net/forum?id=4nPswr1KcP