ViewCLR：面向未见视点的自监督视频表示学习
计算机视觉与模式识别
2021-12-08 v1
摘要
自监督视频表示学习主要侧重于区分由简单数据增强方案生成的实例。然而，所学表示往往无法泛化到未见过的相机视点。为此，我们提出 ViewCLR，学习对相机视点变化不变的自监督视频表示。我们引入一个视点生成器，可视为针对任意自监督前置任务的可学习增强，用于生成视频的潜在视点表示。ViewCLR 最大化潜在视点表示与其原始视点表示之间的相似性，使学到的视频编码器能够泛化到未见相机视点。在包括 NTU RGB+D 数据集在内的跨视点基准数据集上的实验表明，ViewCLR 是一种最先进的视点不变自监督方法。
引用
@article{arxiv.2112.03905,
title = {ViewCLR: Learning Self-supervised Video Representation for Unseen Viewpoints},
author = {Srijan Das and Michael S. Ryoo},
journal= {arXiv preprint arXiv:2112.03905},
year = {2021}
}
备注
13 pages, Codes and models will updated soon