Key-Grid：基于网格热图特征的无监督 3D 关键点检测
计算机视觉与模式识别
2024-12-10 v3
摘要
具有语义一致性的 3D 关键点检测在姿态估计、形状配准和机器人等众多场景中广泛应用。目前，大多数无监督的 3D 关键点检测方法仅关注刚性物体。然而在面对可变形物体时，这些方法识别的关键点很难保持良好的语义一致性。本文提出一种新颖的无监督关键点检测器 Key-Grid，适用于刚性和可变形物体，其为一种自编码器框架。编码器负责预测关键点，而解码器则利用生成的关键点来重构物体。与之前的工作不同，本文利用识别出的关键点信息构建称为网格热图的 3D 网格特征热图图案，其在解码器部分发挥作用。网格热图是一种新颖概念，代表了在 3D 立方空间中均匀抽样网格点的隐变量，其中这些变量是网格点与由关键点对连接而成的骨架之间的最短距离。同时，我们将编码器各层的信息融合到解码器部分。我们在多个基准数据集上对 Key-Grid 进行了广泛评估。Key-Grid 在关键点语义一致性和位置精度方面实现了最新进展。此外，我们还展示了 Key-Grid 对噪声和下采样的鲁棒性。通过将 Key-Grid 推广到 SE(3) 不变性主干网络，我们实现了关键点的 SE(3) 不变性。
引用
@article{arxiv.2410.02237,
title = {Key-Grid: Unsupervised 3D Keypoints Detection using Grid Heatmap Features},
author = {Chengkai Hou and Zhengrong Xue and Bingyang Zhou and Jinghan Ke and Lin Shao and Huazhe Xu},
journal= {arXiv preprint arXiv:2410.02237},
year = {2024}
}