中文

ShapeMatcher:用于形状规范化、分割、检索与形变的自我监督联合框架

计算机视觉与模式识别 2024-03-12 v2

摘要

本文提出 ShapeMatcher,一个用于联合形状规范化、分割、检索与形变的统一自我监督学习框架。给定任意姿态下的部分观测物体,我们首先通过提取逐点仿射不变特征对物体进行规范化,将物体的固有结构与其姿态和尺寸解耦。随后,这些学习到的特征被用于预测语义一致的部分分割及相应的部分中心。接下来,我们的轻量级检索模块将每个部分内的特征聚合为其检索令牌,并将所有令牌与预先建立数据库中的源形状进行比较,以识别几何最相似的形状。最后,我们在形变模块中利用部分中心引导的神经笼形变将检索到的形状形变以紧密贴合输入物体。ShapeMaker 的关键洞见在于对规范化、分割、检索和形变这四个高度关联过程的同时训练,并利用跨任务一致性损失实现相互监督。在合成数据集 PartNet、ComplementMe 以及真实世界数据集 Scan2CAD 上的大量实验表明,ShapeMaker 大幅超越竞争对手。

关键词

引用

@article{arxiv.2311.11106,
  title  = {ShapeMatcher: Self-Supervised Joint Shape Canonicalization, Segmentation, Retrieval and Deformation},
  author = {Yan Di and Chenyangguang Zhang and Chaowei Wang and Ruida Zhang and Guangyao Zhai and Yanyan Li and Bowen Fu and Xiangyang Ji and Shan Gao},
  journal= {arXiv preprint arXiv:2311.11106},
  year   = {2024}
}

备注

CVPR2024