CLIMB-3D: 面向不平衡 3D 实例分割的持续学习
计算机视觉与模式识别
2025-11-24 v3
摘要
尽管 3D 实例分割(3DIS)取得了显著进展,但大多数现有方法假设所有物体类别均是预先已知且均匀分布的。然而,在动态的真实世界环境中,这一假设是不切实际的,因为新类别会逐渐出现并表现出自然的类别不平衡。尽管一些方法处理了新类别的出现,但它们往往忽略了类别不平衡,导致性能次优,尤其是在稀有类别上。为了解决这一问题,我们提出了 \ourmethodbf,一个用于类别增量不平衡感知 3DIS 的统一框架。在已有的样本回放(ER)策略基础上,我们表明仅靠 ER 不足以在内存约束下实现稳健的性能。为了缓解这一问题,我们引入了一种新颖的伪标签生成器(PLG),它利用在先前任务上训练的冻结模型的预测,将监督扩展到先前学习过的类别。尽管前景可期,但 PLG 往往偏向于频繁出现的类别。因此,我们提出了一种类别平衡重加权(CBR)方案,该方案从伪标签中估计物体频率并动态调整训练偏差,且无需访问过去的数据。我们在具有挑战性的 ScanNet200 数据集上设计并评估了三种 3DIS 增量场景,并在 ScanNetV2 上额外验证了我们的方法在语义分割上的表现。我们的方法取得了 SOTA 结果,在实例分割上以高达 16.76\% 的 mAP 超越了先前的工作,在语义分割上以约 30\% 的 mIoU 超越了先前的工作,证明了在频繁和稀有类别上均具有强大的泛化能力。代码获取地址:https://github.com/vgthengane/CLIMB3D
引用
@article{arxiv.2502.17429,
title = {CLIMB-3D: Continual Learning for Imbalanced 3D Instance Segmentation},
author = {Vishal Thengane and Jean Lahoud and Hisham Cholakkal and Rao Muhammad Anwer and Lu Yin and Xiatian Zhu and Salman Khan},
journal= {arXiv preprint arXiv:2502.17429},
year = {2025}
}
备注
Accepted at BMVC 2025