DailyMAE：迈向单日内预训练掩码自编码器
机器学习
2024-04-02 v1 计算机视觉与模式识别
摘要
近期，掩码图像建模（MIM）作为一种重要的自监督学习（SSL）方法，因其在从无标签数据中学习数据表示的有效性而备受关注。大量研究强调了 MIM 的优势，指出在庞大数据集上预训练的模型能够提升下游任务的性能。然而，预训练的高计算需求带来了重大挑战，尤其是在学术环境中，从而阻碍了 SSL 的研究进展。在本研究中，我们提出了一种用于基于 MIM 的 SSL 的高效训练方案，侧重于缓解数据加载瓶颈，并采用渐进式训练技术及其他技巧，以紧密维持预训练性能。我们的库能够在配备 8 张 A100 GPU 的单台机器上，仅用 18 小时即在 ImageNet 1K 数据集上完成 MAE-Base/16 模型 800 个 epoch 的训练。通过实现高达 5.8 倍的加速，这项工作不仅证明了进行高效 SSL 训练的可行性，也为更广泛的普及铺平了道路，并促进了 SSL 研究的进步，尤其是在 SSL 想法的原型设计与初步测试方面。代码可在 https://github.com/erow/FastSSL 获取。
引用
@article{arxiv.2404.00509,
title = {DailyMAE: Towards Pretraining Masked Autoencoders in One Day},
author = {Jiantao Wu and Shentong Mo and Sara Atito and Zhenhua Feng and Josef Kittler and Muhammad Awais},
journal= {arXiv preprint arXiv:2404.00509},
year = {2024}
}