基于联合重识别与注意力感知掩码传播的视频目标分割
计算机视觉与模式识别
2018-03-15 v2
摘要
当多个实例共存时，视频目标分割问题会变得极具挑战性。尽管每个实例可能表现出较大的尺度和姿态变化，但当实例相互遮挡导致跟踪失败时，问题会更加复杂。在本研究中，我们构建了一个深度循环网络，能够通过时间连续性同时分割和跟踪视频中的对象，并能在对象长时间遮挡后重新出现时对其进行重识别。我们将时间传播和重识别功能结合到一个可以端到端训练的单一框架中。特别地，我们提出了一种具有模板扩展的重识别模块，以在对象外观发生较大变化的情况下检索丢失的对象。此外，我们提出了一种新的基于注意力的循环掩码传播方法，该方法对不属于目标片段的干扰物具有鲁棒性。我们的方法在具有挑战性的 DAVIS 2017 基准（test-dev 集）上取得了 68.2 的全局均值（区域 Jaccard 和边界 F 度量）的新最优性能（SOTA），优于在该相同划分上取得 66.1 全局均值的获胜方案。
引用
@article{arxiv.1803.04242,
title = {Video Object Segmentation with Joint Re-identification and Attention-Aware Mask Propagation},
author = {Xiaoxiao Li and Chen Change Loy},
journal= {arXiv preprint arXiv:1803.04242},
year = {2018}
}