通过屏幕剧本实现零样本长视频理解
计算机视觉与模式识别
2024-06-26 v1
摘要
长视频问答任务要求对扩展视频内容进行理解与分析，以利用时间和上下文信息准确回答问题。本文提出了一种具备多模态感知能力的视频理解系统MM-Screenplayer，能够将任意视频转换为文本化的屏幕剧本表示。不同于之前的叙事方法，我们将视频内容组织为场景作为基本单元，而不仅仅是视觉上连续的镜头。此外，我们开发了一种“回溯”策略，用于重新评估和验证不确定信息，尤其针对断点模式。MM-Screenplayer在CVPR'2024长视频理解挑战赛（LOVEU）Track 1中取得最高分，整体准确率为87.5%，断点准确率为68.8%。
引用
@article{arxiv.2406.17309,
title = {Zero-Shot Long-Form Video Understanding through Screenplay},
author = {Yongliang Wu and Bozheng Li and Jiawang Cao and Wenbo Zhu and Yi Lu and Weiheng Chi and Chuyun Xie and Haolin Zheng and Ziyue Su and Jay Wu and Xu Yang},
journal= {arXiv preprint arXiv:2406.17309},
year = {2024}
}
备注
Highest Score Award to the CVPR'2024 LOVEU Track 1 Challenge