视频息肉分割：深度学习视角

我们提出了深度学习时代首个全面的视频息肉分割（VPS）研究。多年来，由于缺少大规模细粒度分割标注，VPS的发展举步维艰。为解决此问题，我们首先引入一个名为SUN-SEG的高质量逐帧标注VPS数据集，其包含来自知名SUN数据库的158,690张结肠镜帧。我们提供了多种类型的额外标注，即属性、目标掩码、边界、涂鸦与多边形。其次，我们设计了一个简洁而高效的基线模型，称为PNS+，由全局编码器、局部编码器和归一化自注意力（NS）块组成。全局与局部编码器分别接收锚帧与多张连续帧以提取长时与短时空时表征，随后由两块NS块逐步更新。大量实验表明，PNS+取得了最佳性能与实时推理速度（170fps），使其成为VPS任务的一种有前景的解决方案。第三，我们在SUN-SEG数据集上广泛评估了13个具代表性的息肉/目标分割模型，并给出了基于属性的比较。最后，我们讨论了若干开放问题并为VPS社区建议了可能的研究方向。