视频中时间精确细粒度事件的定位
计算机视觉与模式识别
2022-07-22 v1
摘要
我们引入视频中时间精确细粒度事件定位任务（检测事件发生的精确时刻）。精确识别要求模型在全局上推理动作的完整时间尺度，并在局部上识别这些动作期间标识事件的细微帧间外观与运动差异。令人惊讶的是，我们发现先前视频理解任务（如动作检测与分割）的顶尖解决方案不能同时满足两项要求。对此，我们提出 E2E-Spot，一个紧凑的端到端模型，在精确识别任务上表现良好，并可在单块 GPU 上快速训练。我们证明 E2E-Spot 显著优于从视频动作检测、分割与识别文献中改编到精确识别任务的最近基线。最后，我们为若干细粒度体育动作数据集贡献了新的标注与划分，以使这些数据集适用于未来的精确识别研究。
引用
@article{arxiv.2207.10213,
title = {Spotting Temporally Precise, Fine-Grained Events in Video},
author = {James Hong and Haotian Zhang and Michaël Gharbi and Matthew Fisher and Kayvon Fatahalian},
journal= {arXiv preprint arXiv:2207.10213},
year = {2022}
}
备注
ECCV 2022; Website URL: https://jhong93.github.io/projects/spot.html