基于预训练自编码器嵌入改进SimCLR非线性投影头的实证研究
机器学习
2025-11-17 v2 计算机视觉与模式识别
摘要
本文聚焦于通过使用预训练自编码器嵌入来提高SimCLR框架中标准2层MLP投影头的效果。给定一个 largely 未标记的图像分类数据集，我们首先训练一个浅层自编码器架构并提取其编码器嵌入层所包含的压缩表示。随后，在冻结该预训练层的权重后，将其作为SimCLR默认投影器输入层的即插即用替换。此外，我们还对投影器进行进一步的架构修改，通过减小宽度和更改激活函数。不同的投影头随后用于遵循SimCLR协议进行对比性训练和评估的特征提取器。我们的实验表明，使用预训练自编码器嵌入于投影器不仅能将分类准确率提高最高可达2.9%或1.7%，还能显著降低投影空间的维度。我们的结果还表明，在投影器中使用sigmoid和tanh激活函数可优于ReLU在峰值和平均分类准确率方面。所有涉及我们预训练投影器的实验都在冻结嵌入的情况下进行，由于我们的测试结果表明其优于使用非冻结嵌入的情形。
引用
@article{arxiv.2408.14514,
title = {An Empirical Study on Improving SimCLR's Nonlinear Projection Head using Pretrained Autoencoder Embeddings},
author = {Andreas Schliebitz and Heiko Tapken and Martin Atzmueller},
journal= {arXiv preprint arXiv:2408.14514},
year = {2025}
}
备注
7 pages, 1 figure, accepted for publication (ICTAI 2025)