用于时间一致关键点发现的 3D 隐式转运器
计算机视觉与模式识别
2023-09-12 v1
摘要
基于关键点的表示已在多种视觉与机器人任务中被证明具有优势。然而，现有的用于检测关键点的 2D 和 3D 方法主要依赖几何一致性实现空间对齐，忽视了时间一致性。为解决此问题，Transporter 方法被引入用于处理 2D 数据，其通过从源帧重建目标帧来融合空间与时间信息。然而，由于 3D 点云与 2D 图像的结构差异，直接将 Transporter 应用于 3D 点云不可行。因此，我们提出了首个 3D 版本的 Transporter，其利用混合 3D 表示、交叉注意力与隐式重建。我们将这一新学习系统应用于 3D 关节物体与非刚性动物（人类与啮齿动物），并显示所学关键点具有时空一致性。此外，我们提出了一种利用所学关键点进行 3D 物体操作的闭环控制策略，并展示了其优越性能。代码见 https://github.com/zhongcl-thu/3D-Implicit-Transporter。
引用
@article{arxiv.2309.05098,
title = {3D Implicit Transporter for Temporally Consistent Keypoint Discovery},
author = {Chengliang Zhong and Yuhang Zheng and Yupeng Zheng and Hao Zhao and Li Yi and Xiaodong Mu and Ling Wang and Pengfei Li and Guyue Zhou and Chao Yang and Xinliang Zhang and Jian Zhao},
journal= {arXiv preprint arXiv:2309.05098},
year = {2023}
}
备注
ICCV2023 oral paper