NoisyTwins：基于StyleGANs的类一致且多样的图像生成
计算机视觉与模式识别
2023-04-13 v1 机器学习
摘要
StyleGANs处于可控图像生成的前沿，因为它们产生语义解耦的潜空间，适用于图像编辑与处理。然而，当在大规模长尾数据集上通过类条件训练时，StyleGANs的性能严重退化。我们发现退化的一个原因是潜空间中每个类的潜变量坍缩。借助NoisyTwins，我们首先引入一种有效且廉价的类嵌入增强策略，随后基于空间中的自监督对潜变量去相关。这种去相关缓解了坍缩，确保我们的方法在图像生成中保持类内多样性与类一致性。我们在大规模真实世界长尾数据集ImageNet-LT和iNaturalist 2019上展示了方法的有效性，其中我们的方法在FID上以约优于其他方法，确立了新的state-of-the-art。
引用
@article{arxiv.2304.05866,
title = {NoisyTwins: Class-Consistent and Diverse Image Generation through StyleGANs},
author = {Harsh Rangwani and Lavish Bansal and Kartik Sharma and Tejan Karmali and Varun Jampani and R. Venkatesh Babu},
journal= {arXiv preprint arXiv:2304.05866},
year = {2023}
}
备注
CVPR 2023. Project Page: https://rangwani-harsh.github.io/NoisyTwins/