面向可扩展的无参考生成模型评估
机器学习
2024-11-07 v2 人工智能
摘要
虽然生成模型的标准评估分数大多基于参考数据，但由于适用参考数据集的不可得性，基于参考的生成模型评估通常难以实现。最近提出了基于熵的无参考评估方法 VENDI 和 RKE，用于评估生成数据的多样性。然而，这些评估得分从数据中估计会导致大规模生成模型的计算成本显著增加。本文利用随机傅里叶特征框架降低计算成本，提出了基于傅里叶的核熵逼近（FKEA）方法。我们利用 FKEA 对核矩阵的近似本征谱进行高效估计，以估计上述熵评估得分。此外，我们展示了 FKEA 的代理本征向量可用于揭示该方法在评估生成样本多样性方面识别的模式。我们提供了 FKEA 评估算法的随机实现，其复杂度为 ，随样本大小 线性增长。我们广泛评估了 FKEA 在标准图像、文本和视频数据集上的数值性能。我们的实证结果表明，该方法在大规模生成模型的可扩展性和可解释性方面表现良好。代码已发布于 https://github.com/aziksh-ospanov/FKEA。
引用
@article{arxiv.2407.02961,
title = {Towards a Scalable Reference-Free Evaluation of Generative Models},
author = {Azim Ospanov and Jingwei Zhang and Mohammad Jalali and Xuenan Cao and Andrej Bogdanov and Farzan Farnia},
journal= {arXiv preprint arXiv:2407.02961},
year = {2024}
}