基于真实图像的主动式由粗到精可动部件分割
计算机视觉与模式识别
2024-07-09 v3
摘要
我们提出了首个用于从真实室内场景RGB图像中高精度实例分割可动部件的主动学习（AL）模型。具体而言，我们的目标是在最小化人工成本的同时获得经人工完全验证的分割结果。为此，我们采用带有掩码注意力机制的 transformer 来监督主动分割。为增强针对可动部件定制的网络，我们提出一种由粗到精的AL方法，先使用物体感知掩码注意力，再使用位姿感知掩码注意力，利用该问题的层次性以及可动部件与物体位姿和交互方向之间的相关性。将我们的AL模型应用于2000张真实图像时，仅需手动标注11.45%的图像，便获得了带语义标签的完全验证可动部件分割。相较于最佳非AL模型达到相同分割精度所需的人工成本，这相当于显著（60%）的时间节省。最后，我们贡献了一个含2550张带标注可动部件真实图像的数据集，展示了其相对于最佳替代方案的更优质量与多样性。
引用
@article{arxiv.2303.11530,
title = {Active Coarse-to-Fine Segmentation of Moveable Parts from Real Images},
author = {Ruiqi Wang and Akshay Gadi Patil and Fenggen Yu and Hao Zhang},
journal= {arXiv preprint arXiv:2303.11530},
year = {2024}
}
备注
Accepted to ECCV 2024. Project page: https://suikei-wang.github.io/mvp-seg/