通过预测时间特征相似性实现真实世界视频的以对象为中心学习
计算机视觉与模式识别
2024-03-18 v2 机器学习
摘要
无监督的基于视频的以对象为中心学习是从大规模无标注视频集合中学习结构化表示的一种有前景的途径，但以往的方法仅能在受限领域内扩展到真实世界数据集。最近的研究表明，对预训练的自监督特征进行重建可在无约束的真实世界图像数据集上得到以对象为中心的表示。基于该方法，我们提出了一种以时间特征相似性损失形式使用此类预训练特征的新方式。该损失编码了图像块之间的语义与时间相关性，是为对象发现引入运动偏置的自然方法。我们证明该损失在具有挑战性的合成 MOVi 数据集上取得了最先进的性能。当与特征重建损失结合使用时，我们的模型是首个可扩展到如 YouTube-VIS 等无约束视频数据集的以对象为中心视频模型。
引用
@article{arxiv.2306.04829,
title = {Object-Centric Learning for Real-World Videos by Predicting Temporal Feature Similarities},
author = {Andrii Zadaianchuk and Maximilian Seitzer and Georg Martius},
journal= {arXiv preprint arXiv:2306.04829},
year = {2024}
}
备注
NeurIPS 2023. Website and code available at https://martius-lab.github.io/videosaur