上下文感知且尺度不敏感的时序重复计数
计算机视觉与模式识别
2020-05-19 v1
摘要
时序重复计数旨在估计给定重复动作的循环次数。现有深度学习方法假设重复动作以固定时间尺度执行，这对现实中复杂的重复动作并不成立。本文定制了一个上下文感知且尺度不敏感的框架，以应对由未知且多样的循环长度所带来的重复计数挑战。我们的方法结合两个关键洞见：（1）不同动作的循环长度不可预测，需要大规模搜索，但一旦确定粗略循环长度，重复之间的差异便可通过回归克服。（2）确定循环长度不能仅依赖短视频片段，而需上下文理解。第一点由粗到细的循环细化方法实现，它避免了穷举搜索视频中所有循环长度的沉重计算，而是以分层方式传播粗略预测以进一步细化。我们 secondly 提出一种用于上下文感知预测的双向循环长度估计方法，这是一个以两个连续粗略循环为输入并预测前一个与后一个重复循环位置的回归网络。为裨益时序重复计数领域的训练与评估，我们构建了一个全新且最大的基准，包含 526 段具有多样重复动作的视频。大量实验表明，在单一数据集上训练的所提网络在多个基准上优于 SOTA 方法，说明所提框架具有足够的通用性以捕捉跨域的重复模式。
引用
@article{arxiv.2005.08465,
title = {Context-aware and Scale-insensitive Temporal Repetition Counting},
author = {Huaidong Zhang and Xuemiao Xu and Guoqiang Han and Shengfeng He},
journal= {arXiv preprint arXiv:2005.08465},
year = {2020}
}
备注
Accepted by CVPR2020