VAMP：用于评估视频生成质量的新型视觉与物理基指标
计算机视觉与模式识别
2024-11-27 v2
摘要
随着视频生成模型的快速进步，评估生成视频质量变得越来越关键。现有的指标，如F\'{r}echet Video Distance（FVD）、Inception Score（IS）和ClipSim，主要在潜在空间中衡量质量，往往忽视诸如外观和运动一致性等关键方面，甚至忽略对物理规律的一致性。在本文中，我们提出了一种新型指标VAMP（Visual Appearance and Motion Plausibility），用于评估生成视频的视觉外观和物理合理性。VAMP由两个主要组成部分构成：外观得分，衡量跨帧的颜色、形状和纹理一致性；运动得分，评估物体运动的真实性。我们通过两个实验对VAMP进行了验证：损坏视频评估和生成视频评估。在损坏视频评估中，我们将各种类型的损坏引入真实视频中，衡量损坏严重程度与VAMP得分之间的相关性。在生成视频评估中，我们使用最先进的模型从精心设计的提示生成视频，并比较VAMP的性能与人类评估者的排名。我们的结果表明，VAMP有效地捕捉了视觉保真度和时间一致性，比传统方法提供了更全面的视频质量评估。
引用
@article{arxiv.2411.13609,
title = {What You See Is What Matters: A Novel Visual and Physics-Based Metric for Evaluating Video Generation Quality},
author = {Zihan Wang and Songlin Li and Lingyan Hao and Xinyu Hu and Bowen Song},
journal= {arXiv preprint arXiv:2411.13609},
year = {2024}
}