PointCMC：面向点云理解的交叉模态多尺度对应学习
计算机视觉与模式识别
2022-11-24 v2
摘要
一些自监督交叉模态学习方法近期已展现出图像信号用于增强点云表示的潜力。然而，如何以自监督方式直接建模跨模态的局部与全局对应仍是一个问题。为此，我们提出 PointCMC，一种新颖的交叉模态方法，用于建模跨模态的多尺度对应以进行自监督点云表示学习。具体而言，PointCMC 由以下组成：（1）一个局部到局部（L2L）模块，通过优化的跨模态局部几何特征学习局部对应；（2）一个局部到全局（L2G）模块，旨在通过局部-全局判别学习跨模态局部与全局特征间的对应；（3）一个全局到全局（G2G）模块，利用点云与图像间的辅助全局对比损失学习高层语义对应。大量实验结果表明，我们的方法在 3D 物体分类与分割等多种下游任务中优于现有最先进（state-of-the-art）方法。代码将在录用后公开。
引用
@article{arxiv.2211.12032,
title = {PointCMC: Cross-Modal Multi-Scale Correspondences Learning for Point Cloud Understanding},
author = {Honggu Zhou and Xiaogang Peng and Jiawei Mao and Zizhao Wu and Ming Zeng},
journal= {arXiv preprint arXiv:2211.12032},
year = {2022}
}
备注
In order to revise the paper