基于程序化程序的零样本视频问答
计算机视觉与模式识别
2023-12-05 v1
摘要
我们提出通过生成简短的程序化程序来回答关于视频的零样本问题，这些程序通过解决一系列视觉子任务来推导最终答案。我们提出了Procedural Video Querying (ProViQ)，它使用大型语言模型从输入问题和提示中的视觉模块API生成此类程序，然后执行它们以获得输出。最近的类似程序化方法在图像问答中已证明成功，但视频仍然具有挑战性：我们为ProViQ提供了用于视频理解的模块，使其能够泛化到各种视频。这种代码生成框架还使ProViQ能够执行除问答之外的其他视频任务，例如多目标跟踪或基本视频编辑。ProViQ在多种基准测试上取得了最先进的结果，在短、长、开放和多模态视频问答数据集上改进高达25%。我们的项目页面位于 https://rccchoudhury.github.io/proviq2023。
引用
@article{arxiv.2312.00937,
title = {Zero-Shot Video Question Answering with Procedural Programs},
author = {Rohan Choudhury and Koichiro Niinuma and Kris M. Kitani and László A. Jeni},
journal= {arXiv preprint arXiv:2312.00937},
year = {2023}
}
备注
16 pages, 7 figures