CMIP-CIL：面向图像-点类递增学习的跨模态基准
计算机视觉与模式识别
2025-04-14 v1
摘要
图像-点类递增学习有助于 3D 点云-视觉机器人从 2D 图像中持续学习类别知识，提高其在动态环境中的感知能力。然而，一些递增学习方法仅处理单模态遗忘，无法应用于跨模态情况；而另一些方法则在训练/测试数据集内部处理模差，但假设它们之间不存在模差。我们首先探索了这一跨模态任务，提出基准 CMIP-CIL 以缓解跨模态灾难性遗忘问题。该方法在预训练阶段采用掩码点云和渲染多视角图像 within 对比学习框架，赋予视觉模型图像-点对应关系的泛化能力。在递增阶段，通过冻结主干网络并促进对象表示靠近各自的原型，从而有效地在继续学习新类别的同时保留和泛化先前看到的类别的知识。我们在该基准数据集上进行了全面实验。实验表明，我们的方法取得了 state-of-the-art 结果，显著优于基线方法。
引用
@article{arxiv.2504.08422,
title = {CMIP-CIL: A Cross-Modal Benchmark for Image-Point Class Incremental Learning},
author = {Chao Qi and Jianqin Yin and Ren Zhang},
journal= {arXiv preprint arXiv:2504.08422},
year = {2025}
}