NOVIS：一种端到端近在线视频实例分割方案
计算机视觉与模式识别
2023-09-19 v2
摘要
直到最近，视频实例分割（VIS）领域普遍相信离线方法通常优于逐帧的在线处理。然而，在线方法近期的成功质疑了这一信念，尤其是对于具有挑战性的长视频序列。我们将本工作理解为对那些近期观察的反驳，并呼吁学界关注专用的近在线VIS方法。为支持我们的论点，我们对不同处理范式及新的端到端可训练NOVIS（近在线视频实例分割）方法给出了详细分析。我们基于transformer的模型直接预测帧片段的时空掩码体，并通过重叠嵌入在片段间进行实例跟踪。NOVIS代表了首个避免任何手工跟踪启发式的近在线VIS方法。我们以大幅优势超越所有现有VIS方法，并在YouTube-VIS（2019/2021）与OVIS基准上提供了新的SOTA结果。
引用
@article{arxiv.2308.15266,
title = {NOVIS: A Case for End-to-End Near-Online Video Instance Segmentation},
author = {Tim Meinhardt and Matt Feiszli and Yuchen Fan and Laura Leal-Taixe and Rakesh Ranjan},
journal= {arXiv preprint arXiv:2308.15266},
year = {2023}
}