v-CLR:面向开放世界实例分割的视角一致学习
计算机视觉与模式识别
2025-04-03 v1
摘要
本文我们解决了开放世界实例分割的挑战性问题。现有工作表明,纯粹的视觉网络在学习表征信息(如纹理)以识别物体方面存在偏见。这一隐式偏差导致模型在开放世界设置下无法检测到新颖的、无未见纹理的物体。为解决这一挑战,我们提出一种学习框架,称为视角一致学习(v-CLR),旨在强制模型学习纹理不变的表征,以实现稳健的实例分割。在 v-CLR 中,我们首先为每个图像引入额外的视角,其中纹理发生显著变化,但保留图像的基本结构。随后,我们通过在不同视角之间强制对象特征一致性来鼓励模型学习纹理不变的表征,为此我们使用具有强对象感知能力的无监督模型获取类无监督对象提案。这些提案使跨视角对象特征匹配成为可能,大幅减少对纹理的依赖,同时增强对象感知。我们在公共基准上进行了全面评估,分别在跨类和跨数据集设置下均取得了最先进的性能。项目页面:https://visual-ai.github.io/vclr
引用
@article{arxiv.2504.01383,
title = {v-CLR: View-Consistent Learning for Open-World Instance Segmentation},
author = {Chang-Bin Zhang and Jinhong Ni and Yujie Zhong and Kai Han},
journal= {arXiv preprint arXiv:2504.01383},
year = {2025}
}
备注
Accepted by CVPR 2025, Project page: https://visual-ai.github.io/vclr, Code: https://github.com/Visual-AI/vCLR