SelfGeo: 基于自监督和测地距离一致性的可变形曲面关键点估计
计算机视觉与模式识别
2024-08-06 v1
摘要
从点云数据 (PCD) 进行无监督 3D 关键点估计是一个复杂任务，尤其是在物体形状发生变形时更具挑战性。由于关键点应在所有 3D 帧中在语义和几何上保持一致——每个关键点都应锚定于变形曲面的特定部位，而不受内在和外在运动的影响。本文提出了一种名为 "SelfGeo" 的自监督方法，用于从任意 PCD 计算非刚性物体的持久 3D 关键点，而无需人工标注。SelfGeo 的核心思想是估计遵循变形物体不变性质的关键点。我们的主要贡献在于强制关键点随曲面变形，同时保持彼此之间的恒定测地距离。随后，这一原理被用于设计一组损失函数，其最小化可在非刚性曲面的特定语义位置上产生可重复的关键点。我们通过实验表明，在挑战性的动态场景中以及不同类型的变形曲面 (人类和动物) 中，使用测地距离具有明显的优势。代码和数据可在 https://github.com/IIT-PAVIS/SelfGeo 访问。
引用
@article{arxiv.2408.02291,
title = {SelfGeo: Self-supervised and Geodesic-consistent Estimation of Keypoints on Deformable Shapes},
author = {Mohammad Zohaib and Luca Cosmo and Alessio Del Bue},
journal= {arXiv preprint arXiv:2408.02291},
year = {2024}
}
备注
This paper has been accepted in ECCV 2024