Compositor：用于鲁棒部件与物体分割的自底向上聚类与合成
计算机视觉与模式识别
2023-12-01 v3
摘要
本工作中，我们提出一种用于联合部件与物体分割的鲁棒方法。具体而言，我们将物体与部件分割重新表述为一个优化问题，并构建包含像素、部件和物体级嵌入的层次化特征表示，以自底向上聚类方式求解。像素被分组为若干簇，其中部件级嵌入作为簇中心。随后，通过合成部件候选获得物体掩码。这种自底向上的交互被证明能有效地将较低语义层级的信息整合到较高语义层级。基于此，我们的新方法 Compositor 同时生成部件与物体分割掩码，并提升了掩码质量。Compositor 在 PartImageNet 和 Pascal-Part 上取得了最先进的性能，在部件和物体 mIoU 上分别超越先前方法约 0.9% 和 1.3%（PartImageNet）、0.4% 和 1.7%（Pascal-Part），并在遮挡下展现出更好的鲁棒性，部件和物体分别提升约 4.4% 和 7.1%。代码将发布于 https://github.com/TACJu/Compositor。
引用
@article{arxiv.2306.07404,
title = {Compositor: Bottom-up Clustering and Compositing for Robust Part and Object Segmentation},
author = {Ju He and Jieneng Chen and Ming-Xian Lin and Qihang Yu and Alan Yuille},
journal= {arXiv preprint arXiv:2306.07404},
year = {2023}
}