Perception Test 2024：挑战概述与新型时长视频QA基准
计算机视觉与模式识别
2024-12-02 v1 计算与语言
机器学习
摘要
紧随2023年成功举办之后，本年我们组织了第二届Perception Test挑战，作为时长为半天的工作坊在IEEE/CVF欧洲计算机视觉大会(ECCV)2024期间举行，旨在对比基准测试中最先进的视频模型的性能，并衡量自去年以来的进展。今年，挑战包含七个轨道(去年为六个)，涵盖低层级与高层级任务，涉及语言与非语言接口，跨视频、音频与文本模态；新增的轨道覆盖时长为1小时的视频理解，引入了新颖的1小时漫步视频问答基准1h-walk VQA。总体而言，各轨道的任务包括：目标跟踪、点跟踪、时序动作定位、时序声定位、多选视频问答、 grounding 视频问答以及时长视频问答。我们在本报告中总结挑战任务与结果，详细介绍新建的时长视频问答基准1h-walk VQA。
引用
@article{arxiv.2411.19941,
title = {Perception Test 2024: Challenge Summary and a Novel Hour-Long VideoQA Benchmark},
author = {Joseph Heyward and João Carreira and Dima Damen and Andrew Zisserman and Viorica Pătrăucean},
journal= {arXiv preprint arXiv:2411.19941},
year = {2024}
}
备注
arXiv admin note: substantial text overlap with arXiv:2312.13090