PanopticPartFormer++：一种用于全景部件分割的统一与解耦视角
摘要
全景部件分割（PPS）将全景分割与部件分割统一为一项任务。以往工作利用独立方法处理事物（things）、 stuff 与部件预测，缺乏共享计算与任务关联。我们旨在在架构层面统一这些任务，设计了首个端到端统一框架 Panoptic-PartFormer。此外，我们发现以往的度量 PartPQ 偏向于 PQ。为处理这两个问题，我们首先设计了一种分别解耦部件特征与事物/stuff 特征的元架构。我们将事物、stuff 与部件建模为对象查询（object queries），并直接学习将所有三种形式的预测作为统一的掩码预测与分类问题进行优化。我们将我们的模型称为 Panoptic-PartFormer。其次，我们提出了新度量 Part-Whole Quality（PWQ），能更好地从像素-区域与部分-整体视角度量该任务。它也将部件分割与全景分割的误差解耦。第三，受 Mask2Former 启发，基于我们的元架构，我们提出了 Panoptic-PartFormer++ 并设计了一种新的部分-整体交叉注意力方案以进一步提升部件分割质量。我们设计了一种使用掩码交叉注意力的新部分-整体交互方法。最后，大量消融实验与分析证明了 Panoptic-PartFormer 与 Panoptic-PartFormer++ 的有效性。与之前的 Panoptic-PartFormer 相比，我们的 Panoptic-PartFormer++ 在 Cityscapes PPS 数据集上实现了 2% 的 PartPQ 与 3% 的 PWQ 提升，在 Pascal Context PPS 数据集上实现了 5% 的 PartPQ 提升。在这两个数据集上，Panoptic-PartFormer++ 均取得了新的 SOTA 结果。我们的模型可作为强基线并助力未来 PPS 研究。源代码与训练模型将发布于 \url{https://github.com/lxtGH/Panoptic-PartFormer}。
引用
@article{arxiv.2301.00954,
title = {PanopticPartFormer++: A Unified and Decoupled View for Panoptic Part Segmentation},
author = {Xiangtai Li and Shilin Xu and Yibo Yang and Haobo Yuan and Guangliang Cheng and Yunhai Tong and Zhouchen Lin and Ming-Hsuan Yang and Dacheng Tao},
journal= {arXiv preprint arXiv:2301.00954},
year = {2024}
}
备注
T-PAMI-2024, Extension of PanopticPartFormer (ECCV 2022)