将生成模型作为数据源用于多视图表示学习
计算机视觉与模式识别
2022-03-17 v3
摘要
生成模型如今已能够生成高度逼真的图像，这些图像与其训练数据几乎无法区分。这引发了一个问题：如果我们有足够好的生成模型，是否还需要数据集？我们在从黑盒生成模型而非直接从数据中学习通用视觉表示的设定下研究这一问题。给定一个现成的图像生成器且无法访问其训练数据，我们从该生成器输出的样本中训练表示。我们比较了几种可应用于此设定的表示学习方法，利用生成器的潜空间生成同一语义内容的多个“视图”。我们表明，对于对比学习方法，这种多视图数据可自然用于识别正样本对（在潜空间中相近）和负样本对（在潜空间中相距较远）。我们发现，由此得到的表示可与甚至优于直接从真实数据学习到的表示，但良好性能需要谨慎对待所采用的采样策略与训练方法。生成模型可被视为数据集的压缩且有序的副本，我们设想未来“模型动物园”日益增多，而数据集变得愈发庞大、缺失或私有。本文提出了若干应对此种未来中视觉表示学习的技术。代码已发布于我们的项目页面 https://ali-design.github.io/GenRep/。
引用
@article{arxiv.2106.05258,
title = {Generative Models as a Data Source for Multiview Representation Learning},
author = {Ali Jahanian and Xavier Puig and Yonglong Tian and Phillip Isola},
journal= {arXiv preprint arXiv:2106.05258},
year = {2022}
}