计时计数：真实场景中类别无关的视频重复计数
计算机视觉与模式识别
2020-06-30 v1
摘要
我们提出一种估计视频中动作重复周期的方法。该方法的关键在于约束周期预测模块，使用时间自相似性作为中间表示瓶颈，从而能够泛化到真实场景视频中未见过的重复。我们使用一个合成数据集训练该称为Repnet的模型，该数据集从大型无标签视频集合中采样不同长度的短片段，并以不同周期和次数重复它们而生成。这种合成数据与强大且受约束模型的结合，使我们能够以类别无关的方式预测周期。我们的模型在现有周期性（PERTUBE）和重复计数（QUVA）基准上大幅超越最先进水平（SOTA）性能。我们还收集了一个名为Countix的新且具有挑战性的数据集（约为现有数据集的90倍大），其捕捉了真实世界视频中重复计数的挑战。项目网页：https://sites.google.com/view/repnet 。
引用
@article{arxiv.2006.15418,
title = {Counting Out Time: Class Agnostic Video Repetition Counting in the Wild},
author = {Debidatta Dwibedi and Yusuf Aytar and Jonathan Tompson and Pierre Sermanet and Andrew Zisserman},
journal= {arXiv preprint arXiv:2006.15418},
year = {2020}
}
备注
Accepted at CVPR 2020. Project webpage: https://sites.google.com/view/repnet