DenseMatcher：从单次演示学习 3D 语义对应用于类别级操作
机器人学
2024-12-09 v1 计算机视觉与模式识别
摘要
稠密 3D 对应关系可通过实现从一个物体到未见过的另一物体的空间、功能和动态信息的泛化来增强机器人操作。相较于形状对应，语义对应在跨类别泛化方面更有效。为此，我们提出DenseMatcher，一种能够计算在野生物体之间共享相似结构的 3D 对应关系的方法。DenseMatcher 首先通过将多视角 2D 特征投影到网格上并用 3D 网络进行细化来计算顶点特征，随后利用功能图找到稠密对应。此外，我们构建了包含跨 diverse 类别彩色物体网格的首个 3D 匹配数据集。在实验中，我们展示DenseMatcher 在所有先前 3D 匹配基准方法上均显著超越了 43.5%。我们在 (i) 机器人操作中展示了DenseMatcher 的下游有效性，该方法仅通过观察一个演示即可在跨实例和跨类别的长期复杂操作任务中实现泛化；(ii) 零样体颜色映射在数字资产之间实现几何可关联的不同物体之间的外观传递。
引用
@article{arxiv.2412.05268,
title = {DenseMatcher: Learning 3D Semantic Correspondence for Category-Level Manipulation from a Single Demo},
author = {Junzhe Zhu and Yuanchen Ju and Junyi Zhang and Muhan Wang and Zhecheng Yuan and Kaizhe Hu and Huazhe Xu},
journal= {arXiv preprint arXiv:2412.05268},
year = {2024}
}
备注
Project Page: https://tea-lab.github.io/DenseMatcher/