重思文本到视频模型的人类评估协议：提升可靠性、可重复性和实用性
计算机视觉与模式识别
2024-11-01 v4
摘要
近期文本到视频（T2V）技术的进展，如Gen2、Pika和Sora等模型，显著扩展了其适用性和流行度。尽管取得了这些进步，但对这些模型进行评估仍面临重大挑战。主要原因是自动评估指标的局限性，人工评估通常被视为评估T2V生成的更好方法。然而，现有的手动评估协议面临可重复性、可靠性和实用性问题。为解决这些挑战，本文引入了文本到视频人类评估（T2VHE）协议，这是一个全面且标准化的T2V模型协议。T2VHE协议包括明确定义的指标、详尽的标注员培训以及有效的动态评估模块。实验结果表明，该协议不仅确保了高质量的注释，还能将评估成本降低近50%。我们将开源整个T2VHE协议设置，包括完整的协议工作流程、动态评估组件细节以及注释界面代码。这有助于社区建立更精细的人类评估协议。
引用
@article{arxiv.2406.08845,
title = {Rethinking Human Evaluation Protocol for Text-to-Video Models: Enhancing Reliability,Reproducibility, and Practicality},
author = {Tianle Zhang and Langtian Ma and Yuchen Yan and Yuchen Zhang and Kai Wang and Yue Yang and Ziyao Guo and Wenqi Shao and Yang You and Yu Qiao and Ping Luo and Kaipeng Zhang},
journal= {arXiv preprint arXiv:2406.08845},
year = {2024}
}