AISFormer:基于 Transformer 的遮挡无关实例分割
计算机视觉与模式识别
2024-03-19 v4
摘要
遮挡无关实例分割(AIS)旨在分割对象实例的可见部分与可能被遮挡部分的区域。尽管基于 Mask R-CNN 的 AIS 方法已展现出有前景的结果,但由于有限感受野,它们无法建模高层特征的一致性。最近的基于 transformer 的模型在视觉任务上表现出令人印象深刻的性能,甚至优于卷积神经网络(CNN)。本工作中,我们提出 AISFormer,一个带有基于 Transformer 掩码头部的 AIS 框架。AISFormer 通过将遮挡物、可见、遮挡无关(amodal)和不可见掩码视为可学习查询,显式建模对象感兴趣区域内它们之间的复杂一致性。具体而言,AISFormer 包含四个模块:(i) 特征编码:提取 ROI 并学习短程与长程视觉特征。(ii) 掩码 transformer 解码:通过 transformer 解码器生成遮挡物、可见和遮挡无关掩码查询嵌入。(iii) 不可见掩码嵌入:建模遮挡无关与可见掩码之间的一致性。(iv) 掩码预测:估计包括遮挡物、可见、遮挡无关和不可见的输出掩码。我们在 KINS、D2SA 和 COCOA-cls 三个具有挑战性的基准上进行了大量实验与消融研究,以评估 AISFormer 的有效性。代码见:https://github.com/UARK-AICV/AISFormer
引用
@article{arxiv.2210.06323,
title = {AISFormer: Amodal Instance Segmentation with Transformer},
author = {Minh Tran and Khoa Vo and Kashu Yamazaki and Arthur Fernandes and Michael Kidd and Ngan Le},
journal= {arXiv preprint arXiv:2210.06323},
year = {2024}
}
备注
Accepted to BMVC2022