条件式合成食物图像生成
计算机视觉与模式识别
2023-03-17 v1 机器学习
摘要
生成对抗网络（GAN）凭借其强大的表示学习能力，在图像合成方面已被广泛研究。本文探讨了 StyleGAN 及其在合成食物图像生成中的应用。尽管 GAN 在自然图像生成上表现优异，但食物图像存在类内多样性高、类间相似度大的问题，导致合成图像出现过拟合与视觉伪影。因此，我们旨在探索并提升 GAN 方法在食物图像生成上的性能。具体而言，我们首先选用 StyleGAN3 作为基线方法生成合成食物图像并分析其性能。随后，我们识别出训练阶段导致食物图像性能下降的两个问题：（1）多食物类别训练过程中的类间特征纠缠，以及（2）图像下采样过程中的高分辨率细节丢失。为解决这两个问题，我们提出每次仅训练一个食物类别以避免特征纠缠，并利用从高分辨率数据集中裁剪的图像块来保留精细细节。我们在 Food-101 数据集上评估了所提方法，结果表明相较于基线，生成的合成食物图像质量有所提升。最后，我们展示了通过在高品质合成训练样本用于数据增强中，提升下游任务（如食物图像分类）性能的巨大潜力。
引用
@article{arxiv.2303.09005,
title = {Conditional Synthetic Food Image Generation},
author = {Wenjin Fu and Yue Han and Jiangpeng He and Sriram Baireddy and Mridul Gupta and Fengqing Zhu},
journal= {arXiv preprint arXiv:2303.09005},
year = {2023}
}