F?D：理解深度特征空间在人脸生成评估中的作用
计算机视觉与模式识别
2023-08-14 v3
摘要
感知度量，如 Fréchet Inception Distance（FID），被广泛用于评估合成生成图像与真实（ground truth）图像之间的相似性。这些度量的核心思想是在捕获感知与语义丰富图像特征的深度特征空间中计算误差。尽管其很流行，不同深度特征及其设计选择对感知度量的影响尚未被充分研究。本工作中，我们执行了一项因果分析，将人脸图像分布间语义属性与失真差异使用多个流行深度特征空间关联到 Fréchet 距离（FD）。我们分析的一个关键组件是使用深度人脸生成器创建合成反事实人脸。我们的实验表明，FD 深受其特征空间的训练数据集与目标函数影响。例如，使用从 ImageNet 训练模型提取特征的 FD 严重强调帽子而非眼睛和嘴巴等区域。此外，使用人脸性别分类器特征的 FD 比身份（识别）特征空间中的距离更强调头发长度。最后，我们在多个特征空间上评估了几种流行人脸生成模型，发现 StyleGAN2 始终排名高于其他人脸生成器，除了在身份（识别）特征方面。这表明在评估生成模型时需要考虑多个特征空间，并使用调谐至相关领域细微差别的特征空间。
引用
@article{arxiv.2305.20048,
title = {F?D: On understanding the role of deep feature spaces on face generation evaluation},
author = {Krish Kabra and Guha Balakrishnan},
journal= {arXiv preprint arXiv:2305.20048},
year = {2023}
}
备注
Code and dataset to be released soon