TrackDeform3D：基于无标记的自主 3D 关键点跟踪与形变对象数据集收集
计算机视觉与模式识别
2026-03-19 v1 机器人学
摘要
结构化 3D 表示如关键点和网格图案提供了对形变对象的紧凑、富有表现力的描述,能够联合捕获几何和拓扑信息,用于下游任务如动力学建模和运动规划.然而,鲁棒地提取此类表示仍具有挑战性,因为当前感知方法难以处理复杂变形.此外,大规模 3D 数据收集仍是瓶颈:现有方法要么需要巨大的收集工作,如繁琐的注释或昂贵的运动捕捉 setup,要么依赖在非结构化环境中失效的简化假设.结果是,针对形变对象的大规模 3D 数据集和基准数据集仍稀缺.为此,本文提出一种仅使用 RGB-D 相机即可实现经济且自主的形变对象 3D 数据集收集框架.该方法识别 3D 关键点并鲁棒地跟踪其轨迹,融合运动一致性约束以产生在时间上平滑且几何上连贯的数据.我们在多个对象类别上对 TrackDeform3D 进行评估,展示了其在几何和跟踪精度方面 consistently 优于多种最先进跟踪方法.利用该框架,本文提出了一个高质量、大规模数据集,包含 6 个形变对象,总计 110 分钟的轨迹数据.
引用
@article{arxiv.2603.17068,
title = {TrackDeform3D: Markerless and Autonomous 3D Keypoint Tracking and Dataset Collection for Deformable Objects},
author = {Yeheng Zong and Yizhou Chen and Alexander Bowler and Chia-Tung Yang and Ram Vasudevan},
journal= {arXiv preprint arXiv:2603.17068},
year = {2026}
}