从未修剪视频中学习：基于层次一致性的自监督视频表征学习
计算机视觉与模式识别
2022-04-08 v1
摘要
自然视频为自监督学习提供了丰富的视觉内容。然而，现有大多数用于学习时空表征的方法依赖于人工修剪的视频，导致视觉模式多样性有限且性能提升受限。在本工作中，我们旨在通过利用未修剪视频中更丰富的信息来学习表征。为此，我们提出学习视频中的层次一致性，即视觉一致性与主题一致性，分别对应于在短时间跨度分隔时倾向于视觉相似、以及在长时间跨度分隔时共享相似主题的片段对。具体而言，我们提出了一种层次一致性学习框架 HiCo，其中视觉一致对通过对比学习被鼓励具有相同的表征，而主题一致对通过一个区分它们是否主题相关的主题分类器进行耦合。进一步，我们为所提层次一致性学习施加了一种渐进采样算法，并证明了其理论优越性。在经验上，我们表明 HiCo 不仅能在未修剪视频上生成更强的表征，在应用于修剪视频时也能提升表征质量。这与无法从未修剪视频中学习到恰当表征的标准对比学习形成对比。
引用
@article{arxiv.2204.03017,
title = {Learning from Untrimmed Videos: Self-Supervised Video Representation Learning with Hierarchical Consistency},
author = {Zhiwu Qing and Shiwei Zhang and Ziyuan Huang and Yi Xu and Xiang Wang and Mingqian Tang and Changxin Gao and Rong Jin and Nong Sang},
journal= {arXiv preprint arXiv:2204.03017},
year = {2022}
}
备注
CVPR2022; Project page is: https://hico-cvpr2022.github.io/