用于多目标跟踪与分割的无监督时空潜在特征聚类
计算机视觉与模式识别
2021-11-08 v3
摘要
为视频序列中多个运动物体分配一致的时间标识符是一个具有挑战性的问题。该问题的解决方案将对多目标跟踪与分割问题产生直接影响。我们提出一种将时间识别任务视为时空聚类问题的策略。我们提出一种使用卷积与全连接自编码器的无监督学习方法，称之为深度异构自编码器，以从分割掩码和检测边界框中学习判别性特征。我们从预训练的实例分割网络中提取掩码及其对应边界框，并使用任务相关不确定性权重联合训练自编码器以生成公共潜在特征。随后我们构建约束图，鼓励满足一组已知时间条件的物体间关联。然后将特征向量与约束图输入 kmeans 聚类算法，以在潜在空间中分离相应数据点。我们使用具有挑战性的合成与真实世界多目标视频数据集评估了我们的方法性能。结果表明我们的技术优于若干 SOTA 方法。
引用
@article{arxiv.2007.07175,
title = {Unsupervised Spatio-temporal Latent Feature Clustering for Multiple-object Tracking and Segmentation},
author = {Abubakar Siddique and Reza Jalil Mozhdehi and Henry Medeiros},
journal= {arXiv preprint arXiv:2007.07175},
year = {2021}
}
备注
10 pages, 5 figures, accepted by BMVC 2021