理解两层卷积神经网络中 SimCLR 预训练的益处
机器学习
2024-09-30 v1 机器学习
摘要
SimCLR 是视觉任务中最流行的对比学习方法之一。它通过教导模型区分增强图像的正对与负对，基于大量无标签数据预训练深度神经网络。人们认为 SimCLR 能够预训练深度神经网络以学习高效的表示，从而在未来监督微调中带来更好的性能。尽管其行之有效，我们对 SimCLR 底层机制的理论理解仍然有限。在本文中，我们从理论上引入了一个 SimCLR 方法的案例研究。具体而言，我们考虑训练一个两层卷积神经网络（CNN）来学习一个玩具图像数据模型。我们证明，在关于标注数据数量的特定条件下，SimCLR 预训练结合监督微调实现了几乎最优的测试损失。值得注意的是，与直接在监督数据上训练相比，SimCLR 预训练的标签复杂性要求要低得多。我们的分析揭示了 SimCLR 在少标签学习中的益处。
引用
@article{arxiv.2409.18685,
title = {Understanding the Benefits of SimCLR Pre-Training in Two-Layer Convolutional Neural Networks},
author = {Han Zhang and Yuan Cao},
journal= {arXiv preprint arXiv:2409.18685},
year = {2024}
}
备注
65 pages, 4 figures