中文

AIGCBench:人工智能生成图像到视频内容的综合评估

计算机视觉与模式识别 2024-01-24 v3 人工智能

摘要

人工智能生成内容 (AIGC) 这一新兴领域正在迅速发展,尤其是在视频生成方面。本文介绍了 AIGCBench,这是一个开创性的、全面且可扩展的基准,旨在评估各种视频生成任务,主要关注图像到视频 (I2V) 生成。AIGCBench 通过包含一个多样化、开放域的图像-文本数据集,在同等条件下评估不同的最先进算法,解决了现有基准缺乏多样化数据集的局限性。我们采用新颖的文本组合器和 GPT-4 来创建丰富的文本提示,然后通过先进的文本到图像模型生成图像。为了建立统一的视频生成任务评估框架,我们的基准包含跨越四个维度的 11 项指标来评估算法性能。这些维度是控制-视频对齐、运动效果、时间一致性和视频质量。这些指标既有依赖参考视频的,也有不依赖视频的,确保了全面的评估策略。所提出的评估标准与人类判断相关性良好,为当前 I2V 算法的优势与不足提供了见解。我们广泛实验的发现旨在激发 I2V 领域的进一步研究与发展。AIGCBench 代表了为更广泛的 AIGC 领域创建标准化基准的重要一步,为未来视频生成任务的评估提出了一个适应性强且公平的框架。我们已在项目网站上开源了数据集和评估代码:https://www.benchcouncil.org/AIGCBench。

关键词

引用

@article{arxiv.2401.01651,
  title  = {AIGCBench: Comprehensive Evaluation of Image-to-Video Content Generated by AI},
  author = {Fanda Fan and Chunjie Luo and Wanling Gao and Jianfeng Zhan},
  journal= {arXiv preprint arXiv:2401.01651},
  year   = {2024}
}

备注

Accepted to BenchCouncil Transactions on Benchmarks, Standards and Evaluations (TBench)