通过迁移多模态知识提升三维点云配准
机器人学
2023-02-13 v1
摘要
近期的多模态模型在许多视觉任务中取得了优异性能，因为其提取的特征包含了多模态知识。然而，当前大多数配准描述子仅关注局部几何结构。本文提出一种方法，通过将预训练多模态模型的多模态知识迁移至一个新的描述子神经网络，以提升点云配准精度。与先前需要两种模态的多模态方法不同，所提方法在推理时仅需点云。具体而言，我们提出一种集成描述子神经网络，结合预训练的稀疏卷积分支与一个新的基于点的卷积分支。通过在单模态数据上微调，所提方法在 3DMatch 上取得了新的最优结果，并在 3DLoMatch 与 KITTI 上获得了具竞争力的精度。
引用
@article{arxiv.2302.05210,
title = {Boosting 3D Point Cloud Registration by Transferring Multi-modality Knowledge},
author = {Mingzhi Yuan and Xiaoshui Huang and Kexue Fu and Zhihao Li and Manning Wang},
journal= {arXiv preprint arXiv:2302.05210},
year = {2023}
}
备注
Accepted to the 2023 IEEE International Conference on Robotics and Automation (ICRA 2023)