什么在流中？利用时序运动线索进行无监督通用事件边界检测
计算机视觉与模式识别
2024-05-14 v1
摘要
通用事件边界检测（GEBD）任务旨在识别无分类学限制的边界，将视频分割为有意义的事件。当前方法通常涉及在大规模数据上训练的神经模型，要求巨大的计算资源和存储空间。我们探讨了两个关键问题：非参数算法能否凌驾于无监督神经方法之上？仅凭运动信息是否足以实现卓越性能？这一探索驱动我们算法性地利用运动线索来识别视频中的通用事件边界。在本文中，我们提出了 FlowGEBD，这是一种非参数、无监督的 GEBD 技术。我们的做法包含两种运动线索算法：(i) 像素跟踪和 (ii) 流归一化。通过在具有挑战性的 Kinetics-GEBD 和 TAPOS 数据集上进行彻底实验，我们的结果表明 FlowGEBD 在无监督方法中实现了最新水平（SOTA）。FlowGEBD 在 Kinetics-GEBD 数据集上获得 [email protected] 为 0.713 的分数，相较于无监督基线提升了 31.7%；在 TAPOS 验证数据集上实现平均 F1 分数 0.623。
关键词
引用
@article{arxiv.2404.18935,
title = {What's in the Flow? Exploiting Temporal Motion Cues for Unsupervised Generic Event Boundary Detection},
author = {Sourabh Vasant Gothe and Vibhav Agarwal and Sourav Ghosh and Jayesh Rajkumar Vachhani and Pranay Kashyap and Barath Raj Kandur Raja},
journal= {arXiv preprint arXiv:2404.18935},
year = {2024}
}
备注
Accepted in WACV-2024. Supplementary at https://openaccess.thecvf.com/content/WACV2024/supplemental/Gothe_Whats_in_the_WACV_2024_supplemental.pdf