人脸图像生成的局限性

文本到图像扩散模型因其前所未有的图像生成能力而广受欢迎。特别是，它们合成和修改人脸的能力激发了将生成的人脸图像用于训练数据增强和模型性能评估的研究。在本文中，我们研究了生成模型在人脸生成背景下的有效性与不足。利用定性定量相结合的措施，包括基于嵌入的指标和用户研究，我们提出了一个框架来审查以一组社会属性为条件生成的人脸的特征。我们将我们的框架应用于通过最先进的文本到图像扩散模型生成的人脸。我们识别出人脸图像生成的若干局限性，包括对文本提示的忠实度、人口统计差异和分布偏移。此外，我们提出了一个分析模型，用以深入揭示训练数据选择如何影响生成模型的性能。