NASiam：基于神经架构搜索的高效孪生网络表征学习
计算机视觉与模式识别
2023-02-02 v1 人工智能
摘要
孪生网络是实现自监督视觉表征学习（SSL）最具趋势的方法之一。由于人工标注成本高昂，SSL 可通过让深度学习在大型无标注数据集上训练而发挥关键作用。与此同时，神经架构搜索（NAS）作为一种发现新颖深度学习架构的技术正变得愈发重要。然而，早期基于强化学习或进化算法的 NAS 方法承受着极高的计算与内存开销。相比之下，可微 NAS 作为一种基于梯度的方法，具有高效得多的优势，因此在过去几年中保留了大部分关注。本文中，我们提出 NASiam，一种新颖方法，首次使用可微 NAS 来改进基于孪生网络的对比学习框架（例如 SimCLR、SimSiam 与 MoCo）内的多层感知机投影器与预测器（编码器/预测器对）架构，同时保持先前基线的简洁性。我们精心设计了显式面向多层感知机的搜索空间，并在其中探索了标准 ReLU 激活函数的若干替代方案。我们表明这些新架构可使 ResNet 骨干卷积模型高效地学习强表征。NASiam 在小型（即 CIFAR-10/CIFAR-100）与大型（即 ImageNet）图像分类数据集上均达到具竞争力的性能，且仅耗费数 GPU 小时。我们讨论了 NAS 发现架构的构成，并对它们为何能避免坍缩行为提出假设。我们的代码见 https://github.com/aheuillet/NASiam。
引用
@article{arxiv.2302.00059,
title = {NASiam: Efficient Representation Learning using Neural Architecture Search for Siamese Networks},
author = {Alexandre Heuillet and Hedi Tabia and Hichem Arioui},
journal= {arXiv preprint arXiv:2302.00059},
year = {2023}
}
备注
8 pages, 6 figures