用于多目标跟踪与分割的原型交叉注意力网络
计算机视觉与模式识别
2021-12-02 v2
摘要
多目标跟踪与分割要求检测、跟踪并分割属于给定类别集合的对象。大多数方法仅利用时间维度来解决关联问题，同时依赖单帧预测得到分割掩码本身。我们提出原型交叉注意力网络（PCAN），能够利用丰富的时空信息用于在线多目标跟踪与分割。PCAN首先将时空记忆蒸馏为一组原型，然后采用交叉注意力从过去帧中检索丰富信息。为分割每个对象，PCAN采用原型外观模块学习一组对比性的前景与背景原型，随后随时间传播。大量实验表明，PCAN在Youtube-VIS和BDD100K数据集上均优于当前的视频实例跟踪与分割竞赛冠军，并显示出对单阶段和两阶段分割框架的有效性。代码与视频资源见 http://vis.xyz/pub/pcan。
引用
@article{arxiv.2106.11958,
title = {Prototypical Cross-Attention Networks for Multiple Object Tracking and Segmentation},
author = {Lei Ke and Xia Li and Martin Danelljan and Yu-Wing Tai and Chi-Keung Tang and Fisher Yu},
journal= {arXiv preprint arXiv:2106.11958},
year = {2021}
}
备注
NeurIPS 2021, Spotlight; Our code and video resources are available at http://vis.xyz/pub/pcan