Fréchet 视频运动距离：用于评估视频运动一致性的度量
计算机视觉与模式识别
2024-07-24 v1
摘要
最近在视频生成模型方面取得了显著进展。与图像生成不同，视频生成面临更大的挑战，不仅要生成高质量的帧，还要确保这些帧之间的时间一致性。尽管已取得惊人进展，但对于评估生成视频质量，尤其是涉及时间和运动一致性的度量，研究仍属underexplored。为弥合这一研究空白，我们提出了Fréchet 视频运动距离（FVMD）指标，旨在评估视频生成中的运动一致性。具体而言，我们基于关键点跟踪设计显式运动特征，然后通过Fréchet距离衡量这些特征之间的相似性。我们通过向真实视频注入噪声进行灵敏度分析，以验证FVMD的有效性。进一步，我们进行了大规模人类研究，表明我们的指标能够有效检测时间噪声，并且在评估生成视频质量时，与现有指标相比更能与人类感知相吻合。此外，我们的运动特征可以持续改进视频质量评估（VQA）模型的性能，表明我们的做法也适用于单视频质量评估。代码已公开：https://github.com/ljh0v0/FMD-frechet-motion-distance。
关键词
引用
@article{arxiv.2407.16124,
title = {Fr\'echet Video Motion Distance: A Metric for Evaluating Motion Consistency in Videos},
author = {Jiahe Liu and Youran Qu and Qi Yan and Xiaohui Zeng and Lele Wang and Renjie Liao},
journal= {arXiv preprint arXiv:2407.16124},
year = {2024}
}