大规模分块自监督学习
计算机视觉与模式识别
2024-08-13 v2 人工智能
机器学习
摘要
当前最先进的深度网络均由反向传播驱动。在本文中，我们以分块学习规则的形式探索全反向传播的替代方案，并利用自监督学习的最新进展。我们表明，一个由独立训练 ResNet-50 的 4 个主要层块、且在每个块上使用 Barlow Twins 损失函数的分块预训练过程，在 ImageNet 上的表现几乎与端到端反向传播相当：在我们分块预训练模型之上训练的线性探针取得 70.48% 的 top-1 分类准确率，仅比端到端预训练网络（71.57% 准确率）低 1.1%。我们进行了大量实验以理解方法内不同组件的影响，并探索了多种将自监督学习适配到分块范式的方案，从而对面向上大规模局部学习规则的关键途径建立了详尽理解，其意义涵盖从硬件设计到神经科学。
引用
@article{arxiv.2302.01647,
title = {Blockwise Self-Supervised Learning at Scale},
author = {Shoaib Ahmed Siddiqui and David Krueger and Yann LeCun and Stéphane Deny},
journal= {arXiv preprint arXiv:2302.01647},
year = {2024}
}