全分辨率重复计数
计算机视觉与模式识别
2023-05-25 v2
摘要
给定一段未裁剪视频，重复动作计数旨在估计与类别无关的动作的重复次数。为处理视频与重复动作的不同长度，以及端到端视频模型训练中的优化挑战，近期最先进方法普遍采用下采样，导致忽略部分重复样本。本文中，我们试图通过结合离线特征提取与时域卷积网络，从全时域分辨率视角理解重复动作。前一步使我们能够在不下采样的情况下训练重复计数网络，同时保留所有重复（无论视频长度与动作频率），而后一网络以灵活且动态扩展的时域感受野对所有帧建模，从全局角度检索所有重复。我们通过实验证明，本方法在 TransRAC、UCFRep 和 QUVA 三个公开数据集上取得了更优或相当的性能。我们期望本工作能促使学界思考全时域分辨率的重要性。
引用
@article{arxiv.2305.13778,
title = {Full Resolution Repetition Counting},
author = {Jianing Li and Bowen Chen and Zhiyong Wang and Honghai Liu},
journal= {arXiv preprint arXiv:2305.13778},
year = {2023}
}
备注
12 pages and 4 figures and 17 conferences