伪装直至成功：从合成 ImageNet 克隆中学习可迁移表征
计算机视觉与模式识别
2023-03-29 v2 机器学习
摘要
近期诸如 Stable Diffusion 之类的图像生成模型已展现出从简单文本提示出发生成相当逼真图像的惊人能力。此类模型是否能使真实图像在训练图像预测模型时变得过时？在本文中，我们通过考察训练 ImageNet 分类模型时对真实图像的需求，来回答这一挑衅性问题的部分内容。仅提供用于构建该数据集的类名，我们探索了 Stable Diffusion 生成 ImageNet 合成克隆的能力，并衡量这些克隆在从零开始训练分类模型时的有用程度。我们表明，在最小且类无关的提示工程下，对于我们在此研究中考虑的若干标准分类基准，ImageNet 克隆能够弥合由合成图像产生的模型与由真实图像训练的模型之间的大部分差距。更重要的是，我们表明在合成图像上训练的模型展现出强大的泛化特性，并在迁移任务上与在真实数据上训练的模型表现相当。项目页面：https://europe.naverlabs.com/imagenet-sd/
引用
@article{arxiv.2212.08420,
title = {Fake it till you make it: Learning transferable representations from synthetic ImageNet clones},
author = {Mert Bulent Sariyildiz and Karteek Alahari and Diane Larlus and Yannis Kalantidis},
journal= {arXiv preprint arXiv:2212.08420},
year = {2023}
}
备注
Accepted to CVPR 2023