一种用于伪装实例分割的统一基于查询的范式

由于伪装实例与背景高度相似，近期提出的伪装实例分割（CIS）在精确定位与实例分割上面临挑战。为此，受基于查询的 transformer 启发，我们提出一种用于伪装实例分割的统一基于查询的多任务学习框架，称为 UQFormer，其构建一组掩码查询与一组边界查询以学习共享的组合查询表示，并高效整合全局伪装目标区域与边界线索，用于伪装场景下的同步实例分割与实例边界检测。具体而言，我们设计了一种组合查询学习范式，通过所设计的多尺度统一学习 transformer 解码器中掩码查询与边界查询的交叉注意力交互，学习共享表示以捕获目标区域与边界特征。随后，我们基于学到的组合查询表示提出一种基于 transformer 的多任务学习框架，用于同步伪装实例分割与伪装实例边界检测，这也迫使模型学习强实例级查询表示。值得注意的是，我们的模型将实例分割视为基于查询的直接集合预测问题，无需非极大值抑制等其他后处理。与 14 种最先进方法相比，我们的 UQFormer 显著提升了伪装实例分割性能。我们的代码将发布于 https://github.com/dongbo811/UQFormer。