提升深度生成数据的有效性
计算机视觉与模式识别
2023-11-09 v2
摘要
近期，生成对抗网络（GANs）与扩散概率模型（DPMs）等深度生成模型（DGMs）在生成高保真写实图像方面展现出令人瞩目的能力。尽管这类图像在视觉上颇具吸引力，但在纯合成图像上训练模型以用于图像分类等下游图像处理任务时，其性能往往不如在真实数据上训练。已有研究证明，用 DGMs 生成的合成图像来增强真实数据集是有益的。然而，这种提升受特定条件限制，且仍无法与添加同等数量真实图像相媲美。本文提出一种新的分类体系来描述导致这一常见现象的因素，并在流行的 CIFAR-10 数据集上进行了探究。我们假设内容鸿沟（Content Gap）在使用 DGM 合成图像时造成了大部分性能下降，并提出了在下游任务中更好利用它们的策略。在多个数据集上的大量实验表明，无论是在仅合成数据上训练（Synthetic-to-Real）还是在真实与合成混合数据上训练（Data Augmentation），尤其在数据稀缺场景下，我们的方法在下游分类任务上均优于基线方法。
引用
@article{arxiv.2311.03959,
title = {Improving the Effectiveness of Deep Generative Data},
author = {Ruyu Wang and Sabrina Schmedding and Marco F. Huber},
journal= {arXiv preprint arXiv:2311.03959},
year = {2023}
}
备注
Accepted by WACV2024