以点为分割：高效在线多目标跟踪与分割
计算机视觉与模式识别
2020-07-06 v1
摘要
当前多目标跟踪与分割（MOTS）方法遵循检测跟踪范式并采用卷积进行特征提取。然而，受固有感受野影响，基于卷积的特征提取不可避免地混合前景特征与背景特征，导致后续实例关联中的歧义。本文中，我们提出一种基于分割段学习实例嵌入的高效方法，通过将紧凑图像表示转换为无序二维点云表示来实现。我们的方法生成了一种新的以点为跟踪范式，其中判别性实例嵌入从随机选点而非图像中学习。此外，多种信息数据模态被转换为逐点表示以丰富逐点特征。所得在线 MOTS 框架名为 PointTrack，以接近实时的速度（22 FPS）大幅超越所有当前最优方法（包括三维跟踪方法）（MOTSA 高 5.4%，比 MOTSFusion 快 18 倍）。跨三个数据集的评估证明了我们方法的有效性与高效性。此外，基于当前 MOTS 数据集缺乏拥挤场景的观察，我们构建了一个更具挑战性的 MOTS 数据集，名为 APOLLO MOTS，其具有更高的实例密度。APOLLO MOTS 与我们的代码均公开于 https://github.com/detectRecog/PointTrack。
引用
@article{arxiv.2007.01550,
title = {Segment as Points for Efficient Online Multi-Object Tracking and Segmentation},
author = {Zhenbo Xu and Wei Zhang and Xiao Tan and Wei Yang and Huan Huang and Shilei Wen and Errui Ding and Liusheng Huang},
journal= {arXiv preprint arXiv:2007.01550},
year = {2020}
}
备注
ECCV2020 ORAL (top 2%). Code already available at https://github.com/detectRecog/PointTrack. A highly effective method for learning features based on instance segments