SIGMA：基于Sinkhorn引导的掩码视频建模
摘要
视频预训练在规模化学习强大视觉表征方面具有巨大的潜力。最近的掩码视频建模方法在可扩展性方面表现前景，但在捕捉更高层次语义方面不足，因为它们重构的是像素等预定义的低级目标。为此，我们提出了基于Sinkhorn引导的掩码视频建模(SIGMA)，这是一种新的视频预训练方法，同时学习视频模型以及使用投影网络的目标特征空间。然而，这一简单的修改意味着常规的L2重构损失将导致平凡解，因为两个网络是联合优化的。作为解决方案，我们将空间-时间管道的特征在有限数量的可学习聚类之间均匀分布。将其作为最优传输问题来处理，可在批次上强制特征生成具有高熵，从而将语义和时间意义注入特征空间。 resulting cluster assignments are used as targets for a symmetric prediction task where the video model predicts cluster assignment of the projection network and vice versa. Experimental results on ten datasets across three benchmarks validate the effectiveness of SIGMA in learning more performant, temporally-aware, and robust video representations improving upon state-of-the-art methods. Our project website with code is available at: https://quva-lab.github.io/SIGMA.
关键词
引用
@article{arxiv.2407.15447,
title = {SIGMA: Sinkhorn-Guided Masked Video Modeling},
author = {Mohammadreza Salehi and Michael Dorkenwald and Fida Mohammad Thoker and Efstratios Gavves and Cees G. M. Snoek and Yuki M. Asano},
journal= {arXiv preprint arXiv:2407.15447},
year = {2024}
}
备注
Accepted at ECCV 24