MoSiC: 基于最优传输的运动轨迹用于稠密自监督学习
计算机视觉与模式识别
2025-07-11 v2
摘要
稠密自监督学习在学习像素级和 patch 级表征方面显示出巨大的潜力，但在视频上延伸仍然具有挑战性，因为运动动力学的复杂性。现有方法困难，因为它们依赖静态数据增强，在物体变形、遮挡和相机移动情况下失效，导致随时间不一致的特征学习。我们提出了一种基于运动引导的自监督学习框架，通过聚类稠密点轨迹来学习时空一致的表征。通过利用现成的点跟踪器，我们提取长范围运动轨迹，并通过基于动量编码器的最优传输机制优化特征聚类。为确保时间连贯性，我们在跟踪的点上沿着轨迹传播聚类分配，通过视点变化实现特征一致性。将运动作为隐式监督信号整合后，本方法学习的表征能够在帧与帧之间普遍化，提高了动态场景和挑剔遮挡情景下的鲁棒性。在从强图像预训练模型初始化并利用视频数据进行训练的情况下，我们在六个图像和视频数据集以及四个评估基准上将最先进技术提高了 1% 到 6%。本实现已在 GitHub 仓库公开：https://github.com/SMSD75/MoSiC/tree/main
引用
@article{arxiv.2506.08694,
title = {MoSiC: Optimal-Transport Motion Trajectory for Dense Self-Supervised Learning},
author = {Mohammadreza Salehi and Shashanka Venkataramanan and Ioana Simion and Efstratios Gavves and Cees G. M. Snoek and Yuki M Asano},
journal= {arXiv preprint arXiv:2506.08694},
year = {2025}
}
备注
Accepted to ICCV2025