实例即身份：一种用于视频实例分割的通用在线范式
计算机视觉与模式识别
2022-08-17 v2
摘要
在统一框架中为检测与跟踪建模时间信息已被证明是视频实例分割（VIS）的一种有前景的解决方案。然而，如何有效地将时间信息整合进在线模型仍是一个开放问题。本工作中，我们提出一种名为“实例即身份”（Instance As Identity, IAI）的新在线 VIS 范式，以高效方式为检测与跟踪建模时间信息。具体而言，IAI 采用一种新颖的识别模块显式预测跟踪实例的身份编号。为跨帧传递时间信息，IAI 利用一个结合当前特征与过往嵌入的关联模块。值得注意的是，IAI 可集成于不同图像模型。我们在三个 VIS 基准上进行了大量实验。IAI 在 YouTube-VIS-2019（ResNet-101 43.7 mAP）与 YouTube-VIS-2021（ResNet-50 38.0 mAP）上优于所有在线竞争者。令人惊讶的是，在更具挑战性的 OVIS 上，IAI 取得了 SOTA 性能（20.6 mAP）。代码见 https://github.com/zfonemore/IAI
引用
@article{arxiv.2208.03079,
title = {Instance As Identity: A Generic Online Paradigm for Video Instance Segmentation},
author = {Feng Zhu and Zongxin Yang and Xin Yu and Yi Yang and Yunchao Wei},
journal= {arXiv preprint arXiv:2208.03079},
year = {2022}
}
备注
Accepted to ECCV2022