重新思考FID：迈向更好的图像生成评估指标
计算机视觉与模式识别
2024-01-29 v2
摘要
与许多机器学习问题一样，图像生成方法的进展依赖于良好的评估指标。最流行的指标之一是Frechet Inception距离（FID）。FID估计真实图像的Inception-v3特征分布与算法生成图像的特征分布之间的距离。我们指出了FID的重要缺点：Inception对现代文本到图像模型生成的丰富多样内容的表示能力差、不正确的正态性假设以及较差的样本复杂度。我们呼吁重新评估FID作为生成图像主要质量指标的使用。我们通过实验证明，FID与人类评分者相矛盾，不能反映迭代文本到图像模型的逐步改进，不能捕捉失真水平，并且在改变样本大小时产生不一致的结果。我们还提出了一种新的替代指标CMMD，基于更丰富的CLIP嵌入和带有高斯RBF核的最大均值差异距离。它是一个无偏估计量，不对嵌入的概率分布做任何假设，并且样本效率高。通过大量实验和分析，我们证明了基于FID的文本到图像模型评估可能不可靠，而CMMD提供了更稳健可靠的图像质量评估。
引用
@article{arxiv.2401.09603,
title = {Rethinking FID: Towards a Better Evaluation Metric for Image Generation},
author = {Sadeep Jayasumana and Srikumar Ramalingam and Andreas Veit and Daniel Glasner and Ayan Chakrabarti and Sanjiv Kumar},
journal= {arXiv preprint arXiv:2401.09603},
year = {2024}
}
备注
Code is available at: https://github.com/google-research/google-research/tree/master/cmmd