ShapeFormer：基于形状先验的可见到非模态 Transformer 非模态实例分割
计算机视觉与模式识别
2024-04-18 v4
摘要
非模态实例分割 (AIS) 是一项具有挑战性的任务，因为它涉及预测图像中物体的可见部分和被遮挡部分。现有的 AIS 方法依赖于双向方法，包括从非模态特征到可见特征的转换（非模态到可见）以及从可见特征到非模态特征的转换（可见到非模态）。我们观察到，通过非模态到可见的途径利用非模态特征会干扰可见特征，因为被遮挡/隐藏片段的额外信息并未在可见显示中呈现。因此，这导致在随后的可见到非模态转换中可见特征的质量受损。为了解决这个问题，我们引入了 ShapeFormer，一种具有可见到非模态转换的解耦 Transformer 模型。它促进了输出分割之间的显式关系，并避免了对非模态到可见转换的需求。ShapeFormer 包含三个关键模块： 用于预测具有遮挡感知的可见分割的可见遮挡掩码头； 用于预测非模态和被遮挡掩码的形状先验非模态掩码头； 旨在提供形状先验知识的特定类别形状先验检索器。在各个 AIS 基准上的综合实验和广泛消融研究证明了我们 ShapeFormer 的有效性。代码可在以下网址获取：\url{https://github.com/UARK-AICV/ShapeFormer}
引用
@article{arxiv.2403.11376,
title = {ShapeFormer: Shape Prior Visible-to-Amodal Transformer-based Amodal Instance Segmentation},
author = {Minh Tran and Winston Bounsavy and Khoa Vo and Anh Nguyen and Tri Nguyen and Ngan Le},
journal= {arXiv preprint arXiv:2403.11376},
year = {2024}
}
备注
Accepted to IJCNN2024