基于形状先验的由粗到细非模态分割
计算机视觉与模式识别
2023-09-01 v1
摘要
非模态物体分割是一项具有挑战性的任务，涉及分割物体的可见部分和被遮挡部分。在本文中，我们提出了一种称为由粗到细分割（C2F-Seg）的新方法，通过逐步建模非模态分割来解决该问题。C2F-Seg 首先将学习空间从像素级图像空间缩减到向量量化潜在空间。这使我们能够更好地处理长程依赖，并从视觉特征和可见分割中学习粗粒度的非模态分割。然而，该潜在空间缺乏关于物体的细节信息，难以直接提供精确的分割。为解决此问题，我们提出了一个卷积细化模块，以注入细粒度信息，并基于视觉特征和粗预测分割提供更精确的非模态物体分割。为助力非模态物体分割研究，我们构建了一个合成非模态数据集，命名为 MOViD-Amodal（MOViD-A），可用于图像和视频非模态物体分割。我们在两个基准数据集 KINS 和 COCO-A 上对我们的模型进行了广泛评估。我们的实证结果证明了 C2F-Seg 的优越性。此外，我们在 FISHBOWL 和我们提出的 MOViD-A 上展示了我们的方法在视频非模态物体分割任务上的潜力。项目页面：http://jianxgao.github.io/C2F-Seg。
引用
@article{arxiv.2308.16825,
title = {Coarse-to-Fine Amodal Segmentation with Shape Prior},
author = {Jianxiong Gao and Xuelin Qian and Yikai Wang and Tianjun Xiao and Tong He and Zheng Zhang and Yanwei Fu},
journal= {arXiv preprint arXiv:2308.16825},
year = {2023}
}
备注
Accepted to ICCV 2023