基于未修剪视频中单时间戳监督的动作识别
计算机视觉与模式识别
2019-04-10 v1
摘要
视频中的动作识别依赖于训练期间的标注监督,通常是每个动作实例的起止时间。这种监督不仅主观,而且获取成本高昂。弱视频级监督已成功用于未修剪视频中的识别,但当训练视频中不同动作的数量增加时面临挑战。我们提出了一种由未修剪视频中位于每个动作实例附近的单时间戳监督的方法。我们用从这些时间戳初始化的采样分布替代昂贵的动作边界。然后我们利用分类器的响应迭代更新采样分布。我们证明这些分布收敛到判别性动作片段的位置和范围。我们在三个细粒度识别数据集上评估了我们的方法,这些数据集视频中不同动作数量递增,并表明单时间戳在识别性能和标注工作量之间提供了合理的折衷,其表现与完整时间监督相当。我们的更新方法在评估的数据集上将 top-1 测试准确率提高了至多 5.4%。
引用
@article{arxiv.1904.04689,
title = {Action Recognition from Single Timestamp Supervision in Untrimmed Videos},
author = {Davide Moltisanti and Sanja Fidler and Dima Damen},
journal= {arXiv preprint arXiv:1904.04689},
year = {2019}
}
备注
CVPR 2019