EffSeg：利用结构保持稀疏性实现高效细粒度实例分割
计算机视觉与模式识别
2023-07-06 v1
摘要
许多两阶段实例分割头为每个实例预测一个粗糙的 28x28 掩码，不足以捕捉许多物体的细粒度细节。为解决此问题，PointRend 和 RefineMask 预测 112x112 分割掩码以获得更高质量的分割。然而，这两种方法均有局限：要么无法访问邻域特征(PointRend)，要么在所有空间位置进行计算而非稀疏计算(RefineMask)。本工作中，我们提出 EffSeg，通过使用基于分别存储活跃特征、被动特征以及包含特征索引的稠密 2D 索引图的结构保持稀疏性(SPS)方法，以高效方式执行细粒度实例分割。索引图的目的是保持特征间的 2D 空间配置或结构，从而仍可执行任何 2D 操作。EffSeg 在 COCO 上取得与 RefineMask 相近的性能，同时将 FLOPs 减少 71% 并将 FPS 提升 29%。代码将公开。
引用
@article{arxiv.2307.01545,
title = {EffSeg: Efficient Fine-Grained Instance Segmentation using Structure-Preserving Sparsity},
author = {Cédric Picron and Tinne Tuytelaars},
journal= {arXiv preprint arXiv:2307.01545},
year = {2023}
}