从合成演示中学习通用手-物体跟踪
机器人学
2025-12-23 v1 图形学
摘要
我们提出了一个系统，从合成数据中学习通用手-物体跟踪控制器，而无需任何人类演示。我们的ethods 作出了两个关键贡献：(1) HOP，即 Hand-Object Planner，可以合成多样化的手-物体轨迹；(2) HOT，即 Hand-Object Tracker，通过强化学习和交互模仿学习实现合成到物理之间的迁移，提供一种以目标手-物体状态为条件的通用可训练控制器。我们的方法可扩展到多样化的物体形状和手部形态。通过广泛的评估，我们展示我们的做法使机械手能够跟踪具有挑战性的、长期程度的序列，包括物体重新排列和灵活的手内重新取向。这些结果代表了一项重要进展，旨在实现可从合成数据中完全学习的可扩展基础控制器，突破长期限制于机械操作的数据瓶颈。
引用
@article{arxiv.2512.19583,
title = {Learning Generalizable Hand-Object Tracking from Synthetic Demonstrations},
author = {Yinhuai Wang and Runyi Yu and Hok Wai Tsui and Xiaoyi Lin and Hui Zhang and Qihan Zhao and Ke Fan and Miao Li and Jie Song and Jingbo Wang and Qifeng Chen and Ping Tan},
journal= {arXiv preprint arXiv:2512.19583},
year = {2025}
}