用于基于 CLIP 的点云分类的元情景学习与动态任务采样
计算机视觉与模式识别
2024-04-02 v1
摘要
点云分类是指为点云数据结构中的单个点分配语义标签或类别的过程。最近的研究探索了将预训练的 CLIP 扩展到 3D 识别。在这一方向上，基于 CLIP 的点云模型（如 PointCLIP、CLIP2Point）已成为少样本设置中的 SOTA 方法。尽管这些方法在飞机、书桌、吉他等某些类别上表现出良好的性能，但在水杯、花盆、水槽、床头柜等某些类别上的性能仍远不能令人满意。这是因为在标准监督学习设置中，基于 CLIP 的模型的适配器是使用随机采样的 N-way K-shot 数据训练的。在本文中，我们提出了一种用于基于 CLIP 的点云分类的新型元情景学习框架，以解决训练样本有限和采样未知类别的挑战。此外，我们引入了基于性能记忆的情景内动态任务采样。该采样策略有效解决了采样未知类别的挑战，确保模型从多样化的类别中学习，并促进对代表性不足类别的探索。通过动态更新性能记忆，我们根据性能自适应地优先进行类别采样，增强了模型处理具有挑战性的真实世界场景的能力。实验表明，在少样本设置下，ModelNet40 和 ScanobjectNN 数据集上的平均性能提升了 3-6%。
引用
@article{arxiv.2404.00857,
title = {Meta Episodic learning with Dynamic Task Sampling for CLIP-based Point Cloud Classification},
author = {Shuvozit Ghose and Yang Wang},
journal= {arXiv preprint arXiv:2404.00857},
year = {2024}
}