追踪、核查、重复：一种用于无监督追踪的 EM 方法
计算机视觉与模式识别
2021-04-09 v1
摘要
我们提出一种在无标签 RGB-D 视频中检测和追踪三维运动物体的无监督方法。该方法以经典的手工技术起步，利用运动线索分割物体：我们估计光流与相机运动，并保守地分割出看似独立于背景运动区域。将这些初始分割作为伪标签，我们在重度数据增强下学习一个基于外观的 2D 与 3D 检测器集成。我们利用该集成来检测“运动”类别的新实例，即使它们并未运动，并将这些作为新的伪标签。我们的方法是一种期望最大化算法：在期望步中触发所有模块并寻找它们之间的一致性，在最大化步中重新训练模块以改善该一致性。集成一致性的约束有助于抑制所生成伪标签的污染（在 E 步期间），数据增强有助于模块泛化至尚未标签的数据（在 M 步期间）。我们使用来自 CATER 和 KITTI 的挑战性视频，与现有的无监督物体发现与追踪方法比较，并展示出对当前最优方法的显著改进。
引用
@article{arxiv.2104.03424,
title = {Track, Check, Repeat: An EM Approach to Unsupervised Tracking},
author = {Adam W. Harley and Yiming Zuo and Jing Wen and Ayush Mangal and Shubhankar Potdar and Ritwick Chaudhry and Katerina Fragkiadaki},
journal= {arXiv preprint arXiv:2104.03424},
year = {2021}
}