面向人脸图像合成的特征提取网络分析
计算机视觉与模式识别
2024-06-05 v1
摘要
生成对抗网络等进展吸引了研究人员对人脸图像合成的关注，以生成更加逼真的图像。因此，评估生成图像真实感的评价标准变得至关重要。虽然结合InceptionV3的FID是基准测试的主要选择之一，但关于InceptionV3在人脸图像上局限性的担忧已经出现。本研究考察了多种特征提取器——InceptionV3、CLIP、DINOv2和ArcFace——的行为，并考虑了多种指标——FID、KID、Precision&Recall。以FFHQ数据集为目标域，以CelebA-HQ数据集以及使用StyleGAN2和Projected FastGAN生成的合成数据集为源域。实验包括对特征的深入分析：L2归一化、提取过程中的模型注意力以及特征空间中的域分布。我们旨在为评估人脸图像合成方法的特征提取器行为提供有价值的见解。代码已在https://github.com/ThEnded32/AnalyzingFeatureExtractors公开。
引用
@article{arxiv.2406.02153,
title = {Analyzing the Feature Extractor Networks for Face Image Synthesis},
author = {Erdi Sarıtaş and Hazım Kemal Ekenel},
journal= {arXiv preprint arXiv:2406.02153},
year = {2024}
}
备注
Accepted at 18th International Conference on Automatic Face and Gesture Recognition (FG) on 1st SD-FGA Workshop 2024