面向三维物体的多模态半监督学习
计算机视觉与模式识别
2021-10-26 v2
摘要
近年来，半监督学习被广泛探索，并在 2D 数据上展现出优异的数据效率。由于标注 3D 数据的稀缺，对提升 3D 任务数据效率的需求正在涌现。本文探索如何利用 3D 数据不同模态（如点云、图像和网格）之间的一致性来提升 3D 分类与检索任务的数据效率。我们通过引入实例级一致性约束和一种新颖的多模态对比原型(M2CP)损失，提出了一种新颖的多模态半监督学习框架。实例级一致性强制网络为同一物体的多模态数据生成一致的表示，而不管其模态如何。M2CP 为每个类别维护一个多模态原型，并通过最小化每个物体到其原型的特征距离同时最大化到其他原型的距离，来学习具有较小类内差异的特征。我们提出的框架在 ModelNet10 和 ModelNet40 数据集上以较大优势显著优于所有最先进的对应方法，在分类和检索任务上皆然。
引用
@article{arxiv.2110.11601,
title = {Multimodal Semi-Supervised Learning for 3D Objects},
author = {Zhimin Chen and Longlong Jing and Yang Liang and YingLi Tian and Bing Li},
journal= {arXiv preprint arXiv:2110.11601},
year = {2021}
}
备注
BMVC 2021 poster