CARTO：类别与关节无关的关节物体重建
计算机视觉与模式识别
2025-03-10 v1 机器人学
摘要
我们提出 CARTO，一种从单张立体 RGB 观测中重建多个关节物体的新方法。我们使用隐式以对象为中心的表示，并为多个对象类别学习单一的几何与关节解码器。尽管在多个类别上训练，我们的解码器达到了与为每个类别分别训练专用解码器的方法相当的重建精度。结合我们的立体图像编码器，我们在一次前向传播中推断出多个未知物体的三维形状、6D 位姿、尺寸、关节类型和关节状态。与两阶段流水线相比，我们的方法在新实例上的 mAP 3D IOU50 绝对提升了 20.4%。推理速度很快，可在 NVIDIA TITAN XP GPU 上对不超过八个物体以 1 HZ 运行。虽然仅在模拟数据上训练，CARTO 可迁移到真实世界物体实例。代码与评估数据见：http://carto.cs.uni-freiburg.de
引用
@article{arxiv.2303.15782,
title = {CARTO: Category and Joint Agnostic Reconstruction of ARTiculated Objects},
author = {Nick Heppert and Muhammad Zubair Irshad and Sergey Zakharov and Katherine Liu and Rares Andrei Ambrus and Jeannette Bohg and Abhinav Valada and Thomas Kollar},
journal= {arXiv preprint arXiv:2303.15782},
year = {2025}
}
备注
20 pages, 11 figures, accepted at CVPR 2023