基于视觉节奏一致性的视频表征学习
计算机视觉与模式识别
2020-12-21 v2
摘要
视觉节奏描述了动作进行的快慢，已在有监督动作识别中展现出潜力。本工作表明，视觉节奏也可作为视频表征学习的自监督信号。我们提出通过分层对比学习（VTHCL）最大化慢速与快速视频表征间的互信息。具体而言，分别以慢速与快速帧率对同一实例采样，可获得共享相同语义但包含不同视觉节奏的慢速与快速视频帧。经 VTHCL 学习的视频表征在 UCF-101（82.1%）和 HMDB-51（49.2%）的动作识别自监督评估协议下取得了具有竞争力的性能。此外，综合实验表明所学表征能很好地泛化至其他下游任务，包括 AVA 上的动作检测与 Epic-Kitchen 上的动作预期。最后，我们提出实例对应图（ICM）以可视化对比学习所捕获的共享语义。
引用
@article{arxiv.2006.15489,
title = {Video Representation Learning with Visual Tempo Consistency},
author = {Ceyuan Yang and Yinghao Xu and Bo Dai and Bolei Zhou},
journal= {arXiv preprint arXiv:2006.15489},
year = {2020}
}
备注
Technical report. Models are available at https://github.com/decisionforce/VTHCL