每一发射镜都计数：基于范例的视频重复计数
计算机视觉与模式识别
2024-10-15 v2 图像与视频处理
摘要
视频重复计数推断视频中重复发生的动作或运动的次数。我们提出一种基于范例的方法，通过在目标视频中的重复之间发现视频范例的视觉对应关系。我们提出的Every Shot Counts（ESCounts）模型是一种基于注意力的编码器-解码器，对长度各异的视频以及来自相同或不同视频的范例进行编码。在训练过程中，ESCounts回归范例在视频中高对应位置。在此同时，我们的方法学习一种编码一般重复运动表示的潜在变量，供用于范例-free、零样本推断。广泛的实验在常用数据集（RepCount、Countix和UCFRep）上展示，ESCounts在所有三个数据集上均取得最先进的性能。详细的消融实验进一步证明了我们方法的有效性。
引用
@article{arxiv.2403.18074,
title = {Every Shot Counts: Using Exemplars for Repetition Counting in Videos},
author = {Saptarshi Sinha and Alexandros Stergiou and Dima Damen},
journal= {arXiv preprint arXiv:2403.18074},
year = {2024}
}
备注
Accepted at Asian Conference on Computer Vision (ACCV) 2024, project page: https://sinhasaptarshi.github.io/escounts , and code: https://github.com/sinhasaptarshi/EveryShotCounts