生成模型能否提升自监督表示学习？
计算机视觉与模式识别
2024-12-18 v3 机器学习
摘要
自监督表示学习的快速进展凸显了其利用无标签数据学习丰富视觉表示的潜力。然而，现有技术，特别是那些采用同一图像不同增强的技术，往往依赖于一组有限的简单变换，无法完全捕捉现实世界中的变化。这限制了样本的多样性和质量，从而导致次优的表示。在本文中，我们引入了一个框架，通过利用生成模型产生语义一致的图像增强来丰富自监督学习 (SSL) 范式。通过将生成模型直接以源图像为条件，我们的方法能够在保持源图像语义的同时生成多样的增强，从而为 SSL 提供更丰富的数据集。我们在各种联合嵌入 SSL 技术上的广泛实验结果表明，我们的框架显著提升了所学视觉表示的质量，在下游任务中 Top-1 准确率最高提升了 10%。这项研究表明，将生成模型纳入联合嵌入 SSL 工作流程为探索合成数据的潜力开辟了新的途径。这一发展为更鲁棒和通用的表示学习技术铺平了道路。
引用
@article{arxiv.2403.05966,
title = {Can Generative Models Improve Self-Supervised Representation Learning?},
author = {Sana Ayromlou and Vahid Reza Khazaie and Fereshteh Forghani and Arash Afkanpour},
journal= {arXiv preprint arXiv:2403.05966},
year = {2024}
}
备注
To be published in AAAI 2025