面向视频对比学习的概率表示
计算机视觉与模式识别
2022-04-11 v1
摘要
本文提出概率视频对比学习，一种将对比学习与概率表示相桥接的自监督表示学习方法。我们假设组成视频的片段在短时程上具有不同分布，但可通过在共同嵌入空间中的组合来表示复杂精细的视频分布。因此，所提方法将视频片段表示为正态分布，并将其组合为高斯混合以建模整个视频分布。通过从整个视频分布中采样嵌入，我们可规避细致的采样策略或变换来生成片段的增广视图，这与先前主要聚焦于此类样本生成策略的确定性方法不同。我们进一步提出随机对比损失以学习恰当的视频分布并处理原始视频本质所固有的不确定性。实验结果验证了我们概率嵌入作为动作识别与视频检索在包括UCF101和HMDB51在内的最流行基准上的SOTA视频表示学习。
引用
@article{arxiv.2204.03946,
title = {Probabilistic Representations for Video Contrastive Learning},
author = {Jungin Park and Jiyoung Lee and Ig-Jae Kim and Kwanghoon Sohn},
journal= {arXiv preprint arXiv:2204.03946},
year = {2022}
}
备注
CVPR 2022