用于自监督学习的对抗掩码
计算机视觉与模式识别
2022-07-07 v3 机器学习
摘要
我们提出了 ADIOS，一个用于自监督学习的掩码图像模型（MIM）框架，它使用对抗目标同时学习掩码函数和图像编码器。图像编码器被训练以最小化原始图像与掩码图像表示之间的距离。相反，掩码函数旨在最大化该距离。ADIOS 在多种任务和数据集上持续改进了最先进的自监督学习（SSL）方法——包括在 ImageNet100 和 STL10 上的分类，在 CIFAR10/100、Flowers102 和 iNaturalist 上的迁移学习，以及在背景挑战（Xiao et al., 2021）上评估的鲁棒性——同时生成语义上有意义的掩码。与 MAE、BEiT 和 iBOT 等现代 MIM 模型不同，ADIOS 不依赖于 Vision Transformer 的图像块 token 化构造，并且可以用卷积骨干网络实现。我们进一步证明，ADIOS 学习到的掩码在改进 SSL 方法的表示学习方面，比流行 MIM 模型中使用的掩码方案更有效。代码可在 https://github.com/YugeTen/adios 获取。
引用
@article{arxiv.2201.13100,
title = {Adversarial Masking for Self-Supervised Learning},
author = {Yuge Shi and N. Siddharth and Philip H. S. Torr and Adam R. Kosiorek},
journal= {arXiv preprint arXiv:2201.13100},
year = {2022}
}