通用事件边界检测：一项事件分割基准
计算机视觉与模式识别
2021-08-20 v5
摘要
本文提出了一项新任务及一个新基准，用于检测通用的、无分类体系的事件边界，从而将整段视频分割为块。 temporal 视频分割和动作检测的传统工作聚焦于定位预定义动作类别，因此无法扩展到通用视频。认知科学自上个世纪以来已知人类始终将视频分割为有意义的时间块。这种分割自然发生，无需预定义事件类别，也无需被明确要求这样做。在此，我们在主流 CV 数据集上重复了这些认知实验；借助我们解决无分类体系事件边界标注复杂性的新颖标注指南，我们引入了通用事件边界检测（GEBD）任务和新基准 Kinetics-GEBD。我们的 Kinetics-GEBD 拥有最大数量的边界（例如 ActivityNet 的 32 个、EPIC-Kitchens-100 的 8 个），这些边界为真实场景、无分类体系、覆盖通用事件变化，并尊重人类感知多样性。我们将 GEBD 视为通向整体理解视频的重要垫脚石，并认为此前因缺乏恰当的任务定义和标注而被忽视。通过实验和人体研究我们展示了标注的价值。此外，我们在 TAPOS 数据集和我们的 Kinetics-GEBD 上基准测试了有监督和无监督的 GEBD 方法。我们在 CVPR'21 LOVEU Challenge 发布标注和基线代码：https://sites.google.com/view/loveucvpr21。
引用
@article{arxiv.2101.10511,
title = {Generic Event Boundary Detection: A Benchmark for Event Segmentation},
author = {Mike Zheng Shou and Stan Weixian Lei and Weiyao Wang and Deepti Ghadiyaram and Matt Feiszli},
journal= {arXiv preprint arXiv:2101.10511},
year = {2021}
}
备注
ICCV 2021