自监督孪生自编码器

与全监督模型相比，自监督表示学习仅需少量标注数据，且常在下游任务中达到同等甚至更高的性能。其目标是在自监督任务上预训练深度神经网络，使它们之后能从原始输入数据中提取有意义的特征。此前，自编码器与孪生网络已成功用作图像分类等任务的特征提取器。然而，二者各有其局限与优势。本文中，我们结合它们的互补优势，提出一种称为 SidAE（孪生去噪自编码器）的新方法。利用图像分类下游任务，我们表明我们的模型在多个数据集与场景下优于两个自监督基线。关键在于，这包括仅少量标注数据可用的情形。经验上，孪生组件影响更大，但去噪自编码器仍对提升性能必不可少。