重塑重复动作计数的时序自相似性
计算机视觉与模式识别
2024-07-15 v1
摘要
在长时间未剪辑的视频中对重复动作进行计数是一个具有多种应用（如康复）的挑战性任务。当前的方法首先从采样帧生成时间自相似矩阵（TSM），然后将该矩阵输入预测网络。然而，自相似矩阵并非网络的理想输入，因为它会丢弃帧级嵌入的太多信息。我们因此重新思考如何利用 TSM 来进行重复动作计数，提出一种学习嵌入并在完整时序分辨率下预测动作起始概率的框架。随后，从动作起始概率中推断重复动作的数量。与当前将 TSM 作为中间表示的方法不同，我们提出一种基于生成参考 TSM 的新损失函数，该损失函数强制学习的帧级嵌入的自相似性与重复动作的自相似性一致。所提出的框架在三个数据集上实现了最先进的结果，即 RepCount、UCFRep 和 Countix。
引用
@article{arxiv.2407.09431,
title = {Rethinking temporal self-similarity for repetitive action counting},
author = {Yanan Luo and Jinhui Yi and Yazan Abu Farha and Moritz Wolter and Juergen Gall},
journal= {arXiv preprint arXiv:2407.09431},
year = {2024}
}
备注
Accepted to ICIP 2024