基于时间对比学习的半监督动作识别
计算机视觉与模式识别
2021-03-30 v2
摘要
仅从少量标注视频中学习识别动作是一个具有挑战性的问题，因为费力收集的活动标签十分稀缺。我们借助未标注视频以两种不同速度学习一个双通路时间对比模型来解决此问题，利用的是改变视频速度不改变动作这一事实。具体而言，我们提议最大化同一视频以两种不同速度编码表示之间的相似性，同时最小化以不同速度播放的不同视频之间的相似性。以此方式，我们利用了原本无监督视频池中存在的关于“时间”的丰富监督信息。凭借这一简单而有效的操纵视频播放速率的策略，我们在多个不同的基准数据集和网络架构上大幅优于复杂的最先进半监督图像识别方法的视频扩展。有趣的是，我们提出的方法受益于域外未标注视频，展现出泛化性与鲁棒性。我们还进行了严格的消融与分析以验证我们的方法。项目页面：https://cvir.github.io/TCL/。
引用
@article{arxiv.2102.02751,
title = {Semi-Supervised Action Recognition with Temporal Contrastive Learning},
author = {Ankit Singh and Omprakash Chakraborty and Ashutosh Varshney and Rameswar Panda and Rogerio Feris and Kate Saenko and Abir Das},
journal= {arXiv preprint arXiv:2102.02751},
year = {2021}
}
备注
Accepted in CVPR 2021