RGNet：用于长视频的统一片段检索与定位网络
计算机视觉与模式识别
2024-07-16 v3
摘要
在长视频（20-120 分钟）中定位特定时刻是一项重大挑战，犹如大海捞针。将现有的短视频（5-30 秒）定位方法应用于此问题效果不佳。由于大多数现实生活中的视频（如 YouTube 和 AR/VR 上的视频）篇幅较长，解决这一问题至关重要。现有方法通常分为两个阶段操作：片段检索与定位。然而，这种割裂的过程限制了检索模块对细粒度事件的理解，而这对特定时刻检测至关重要。我们提出了 RGNet，它将片段检索与定位深度集成到一个单一网络中，能够将长视频处理为多个粒度级别（例如片段和帧）。其核心组件是一个新颖的 Transformer 编码器 RG-Encoder，通过共享特征和相互优化统一了这两个阶段。该编码器结合了稀疏注意力机制和注意力损失，以联合建模两种粒度。此外，我们引入了对比片段采样技术，在训练过程中紧密模拟长视频范式。RGNet 超越了先前的方法，在长视频时序定位（LVTG）数据集 MAD 和 Ego4D 上展现了 SOTA 性能。
引用
@article{arxiv.2312.06729,
title = {RGNet: A Unified Clip Retrieval and Grounding Network for Long Videos},
author = {Tanveer Hannan and Md Mohaiminul Islam and Thomas Seidl and Gedas Bertasius},
journal= {arXiv preprint arXiv:2312.06729},
year = {2024}
}
备注
The code is released at https://github.com/Tanveer81/RGNet