有效无偏的 FID 与 Inception Score 及其获取方法

本文表明，生成模型两种常用评估指标——弗雷歇 Inception 距离（FID）与 Inception Score（IS）——是有偏的：对有限样本集计算得分的期望值并非得分的真值。更糟的是，本文表明偏置项依赖于被评估的特定模型，因此模型 A 可能仅因其偏置项更小而获得优于模型 B 的分数。该效应无法通过固定样本数评估来消除。这意味着当前所有使用 FID 或 IS 的比较均不可靠。我们随后展示了如何外推得分以获得用无限样本数计算得分的有效无偏估计，称之为 $\overline{\textrm{FID}}_\infty$ 与 $\overline{\textrm{IS}}_\infty$。进而，该有效无偏估计需要有限样本数下得分的良好估计。我们表明使用准蒙特卡洛积分显著改善了有限样本集下 FID 与 IS 的估计。我们的外推得分简单，可直接替代有限样本得分。此外，我们表明在 GAN 训练中使用低差异序列可令所得生成器有微小改进。