从 pretext 到目的：批自适应的自监督学习

近年来，自监督对比学习已成为人工智能领域中一种杰出的范式。它通过实例级别的对比刻画来实现无监督特征学习。然而，构建有效的自监督范式仍是该领域的关键挑战。本文深入探讨了影响自监督对比学习的两个关键因素——批大小与pretext任务，并从数据处理角度提出了一种批融合的自适应技术。所提方法通过对批数据进行降维与重构，使原本孤立的个体数据能够通过嵌入层参与批内通信。此外，随着训练推进，它自适应地增强自监督特征编码能力。我们基于经典对比学习框架在ImageNet-1k上对该方法进行了线性分类测试。实证结果表明，在公平比较下我们的方法达到了SOTA性能。得益于其“即插即用”特性，我们进一步探索了其他对比学习方法。在ImageNet-100上，相较于原始性能，top1最高提升了1.25%。我们认为所提方法有助于推动数据驱动的自监督学习研究，为该社区带来新视角。