用于少样本点云识别的不变训练 2D-3D 联合困难样本
计算机视觉与模式识别
2023-08-21 v1
摘要
我们通过使用常规 3D 模型与训练良好的 2D 模型的联合预测,来解决 3D 物体少样本点云识别中的数据稀缺挑战。令人惊讶的是,这样一种看似平凡的集成在最近的 2D-3D 模型中几乎未被证明有效。我们发现关键在于对“联合困难样本”的训练效果不佳,这些样本对不同错误标签具有高置信度预测,意味着 2D 与 3D 模型协作不佳。为此,我们提出的称为 InvJoint 的不变训练策略,不仅将训练更多地聚焦于困难样本,还寻求冲突的 2D 与 3D 模糊预测之间的不变性。InvJoint 能够学习更具协作性的 2D 与 3D 表示以实现更好的集成。在广泛采用的 ModelNet10/40、ScanObjectNN 和 Toys4K 上的 3D 形状分类,以及 ShapeNet-Core 上的形状检索的大量实验验证了我们的 InvJoint 的优越性。
引用
@article{arxiv.2308.09694,
title = {Invariant Training 2D-3D Joint Hard Samples for Few-Shot Point Cloud Recognition},
author = {Xuanyu Yi and Jiajun Deng and Qianru Sun and Xian-Sheng Hua and Joo-Hwee Lim and Hanwang Zhang},
journal= {arXiv preprint arXiv:2308.09694},
year = {2023}
}