用于通用事件边界检测的运动感知自监督
计算机视觉与模式识别
2022-10-13 v2 人工智能
机器学习
摘要
通用事件边界检测 (GEBD) 任务旨在检测视频中人类自然感知为通用且无类别体系的事件边界的时刻。对视频中动态演变的时空变化进行建模使得 GEBD 成为一个难以解决的困难问题。现有方法在架构设计选择方面涉及非常复杂且精密的流程，因此需要更直接和简化的方法。在这项工作中，我们通过重新审视一种简单有效的自监督方法，并用一个可微的运动特征学习模块对其进行增强，以解决 GEBD 任务中的空间和时间多样性，从而解决了这一问题。我们在具有挑战性的 Kinetics-GEBD 和 TAPOS 数据集上进行了大量实验，以证明所提出方法相较于其他自监督 SOTA 方法的有效性。我们还表明，这种简单的自监督方法无需任何显式的特定运动前置任务即可学习运动特征。
引用
@article{arxiv.2210.05574,
title = {Motion Aware Self-Supervision for Generic Event Boundary Detection},
author = {Ayush K. Rai and Tarun Krishna and Julia Dietlmeier and Kevin McGuinness and Alan F. Smeaton and Noel E. O'Connor},
journal= {arXiv preprint arXiv:2210.05574},
year = {2022}
}
备注
Accepted in IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2023