PLUG：利用基础模型与层次化焦点重访非模态分割
计算机视觉与模式识别
2024-06-04 v2
摘要
旨在预测部分遮挡物体的完整形状，非模态分割是迈向视觉智能的重要一步。具有关键意义的实际先验知识来源于充分的训练，而有限非模态标注对实现更好性能提出了挑战。为解决此问题，利用基础模型中积累的强大先验，我们提出了首个基于SAM的非模态分割方法PLUG。在方法论上，提出了一种具有层次化焦点的新颖框架，以更好地适应任务特性并释放SAM的潜在能力。在区域层面，由于可见区域和遮挡区域的关联与划分，将模态区域和非模态区域分配为不同分支的焦点，以避免相互干扰。在点层面，我们引入不确定性概念来显式辅助模型识别并聚焦于模糊点。在不确定性图的引导下，应用一种计算经济的点损失来提高预测边界的准确性。在多个著名数据集上进行了实验，结果表明我们提出的方法以较大优势优于现有方法。即使在总参数更少的情况下，我们的方法仍展现出显著优势。
引用
@article{arxiv.2405.16094,
title = {PLUG: Revisiting Amodal Segmentation with Foundation Model and Hierarchical Focus},
author = {Zhaochen Liu and Limeng Qiao and Xiangxiang Chu and Tingting Jiang},
journal= {arXiv preprint arXiv:2405.16094},
year = {2024}
}