人类活动类AGV质量评估：基准数据集与客观评估指标
计算机视觉与模式识别
2025-07-24 v3
摘要
近年来，AI驱动的视频生成技术取得了显著进展。然而，涉及人类活动的AI生成视频（AGVs）常常表现出显著的视觉与语义失真，阻碍了视频生成技术在现实场景中的实际应用。为此，我们开展了人类活动AGV质量评估的开创性研究，聚焦视觉质量评估与语义失真识别。首先，我们构建了AI生成人类活动视频质量评估（Human-AGVQA）数据集，包含6000个AGVs，源自15个流行的文本到视频（T2V）模型，基于400个描述多样化人类活动的文本提示生成。我们进行主观研究，评估AGVs的人类外观质量、动作连续性质量以及整体视频质量，并识别了人类身体部位的语义问题。基于Human-AGVQA，我们对T2V模型的性能进行基准测试，分析其在生成不同类别人类活动方面的优势与不足。其次，我们开发了客观评估指标，命名为AI生成人类活动视频质量指标（GHVQ），用于自动分析人类活动AGVs的质量。GHVQ系统性地提取人类关注的质量特征、AI生成内容感知的质量特征以及时间连续性特征，成为人类活动AGVs的全面且可解释的质量指标。大量实验结果表明，GHVQ在Human-AGVQA数据集上相较于现有质量指标显著优越，证明了其在评估人类活动AGVs质量方面的有效性。Human-AGVQA数据集与GHVQ指标将发布于https://github.com/zczhang-sjtu/GHVQ.git。
引用
@article{arxiv.2411.16619,
title = {Human-Activity AGV Quality Assessment: A Benchmark Dataset and an Objective Evaluation Metric},
author = {Zhichao Zhang and Wei Sun and Xinyue Li and Yunhao Li and Qihang Ge and Jun Jia and Zicheng Zhang and Zhongpeng Ji and Fengyu Sun and Shangling Jui and Xiongkuo Min and Guangtao Zhai},
journal= {arXiv preprint arXiv:2411.16619},
year = {2025}
}
备注
Accepted by ACMMM 2025