超越FVD：视频生成质量的增强评估指标
计算机视觉与模式识别
2024-10-10 v2 人工智能
机器学习
摘要
弗雷谢视频距离(FVD)是评估视频生成分布质量最常用的指标。然而，其有效性依赖于关键假设。我们的分析揭示了三个显著局限性：(1)Inflated 3D Convnet(I3D)特征空间的非高斯性；(2)I3D特征对时序失真的不敏感性；(3)可靠估计所需的实际样本量不切实际。这些发现削弱了FVD的可靠性，表明FVD不足以作为视频生成评估的独立指标。经过对广泛范围内指标和骨干架构的深入分析，我们提出JEDi，即基于Joint Embedding Predictive Architecture(JEPA)派生特征的JEPA嵌入距离，采用多项式核实现的最大均值偏差(MMD)进行测量。我们在多个开源数据集上进行实验，清晰地证明其是广受欢迎的FVD指标的优越替代品，仅需16%的样本即可达到其稳定值，同时平均提高了与人类评估的对齐程度34%。
引用
@article{arxiv.2410.05203,
title = {Beyond FVD: Enhanced Evaluation Metrics for Video Generation Quality},
author = {Ge Ya Luo and Gian Mario Favero and Zhi Hao Luo and Alexia Jolicoeur-Martineau and Christopher Pal},
journal= {arXiv preprint arXiv:2410.05203},
year = {2024}
}