通过局部形状变换学习 SO(3)-不变语义对应
计算机视觉与模式识别
2024-04-23 v2
摘要
在计算机视觉和机器人学领域，建立准确的 3D 对应关系具有深远的意义。然而，现有的自监督方法假设输入形状的完美对齐，这限制了其在现实中的应用。本文引入一种新颖的自监督 Rotation-Invariant 3D correspondence learner，称为 RIST，通过 Local Shape Transform 来学习在面对挑战性的类内变异和任意姿态时，在形状之间建立稠密对应。具体而言，RIST 学习为每个点动态构建 SO(3)-不变的局部形状变换，将输入形状的 SO(3)-等变全局形状描述符映射到局部形状描述符。这些局部形状描述符作为解码器的输入，以实现点云的自我和交叉重建。我们提出的自监督训练管道鼓励来自不同形状的语义对应点被映射到相似的局部形状描述符，从而使 RIST 能够在任意旋转的点云对之间建立稠密点级对应。RIST 在 3D 部分标签传递和语义关键点传递任务上实现了最先进的性能，显著优于现有方法。
引用
@article{arxiv.2404.11156,
title = {Learning SO(3)-Invariant Semantic Correspondence via Local Shape Transform},
author = {Chunghyun Park and Seungwook Kim and Jaesik Park and Minsu Cho},
journal= {arXiv preprint arXiv:2404.11156},
year = {2024}
}
备注
Accepted to CVPR 2024