抓取与举起：基于物理在环优化的可执行3D手-物交互重建
机器人学
2026-01-27 v1 计算机视觉与模式识别
摘要
灵巧手操作越来越依赖于具有精确手-物轨迹数据的大规模运动数据集。然而，DexYCB 和 HO3D 等现有资源主要针对视觉对齐进行了优化，但在物理模拟器中回放时通常会产生物理上不合理的交互，包括穿透、错失接触和不稳定的抓取。我们提出了一个模拟在环的细化框架，将这些视觉对齐的轨迹转换为物理上可执行的轨迹。我们的核心贡献是将其表述为一个可处理的黑盒优化问题。我们使用基于稀疏时间关键帧的低维样条表示来参数化手的运动。这使我们能够使用强大的无梯度优化器 CMA-ES，将高保真物理引擎视为黑盒目标函数。我们的方法在最小化与原始人类演示偏差的同时，寻找能够最大化物理成功率（例如稳定抓取和举起）的运动。与 MANIPTRANS 等最近的迁移流水线相比，我们的方法在回放期间实现了更低的手和物体姿态误差，并更准确地恢复了手-物物理交互。我们的方法提供了一种通用且可扩展的方法，用于将视觉演示转换为物理有效的轨迹，从而能够生成对鲁棒策略学习至关重要的高保真数据。
引用
@article{arxiv.2601.18121,
title = {Grasp-and-Lift: Executable 3D Hand-Object Interaction Reconstruction via Physics-in-the-Loop Optimization},
author = {Byeonggyeol Choi and Woojin Oh and Jongwoo Lim},
journal= {arXiv preprint arXiv:2601.18121},
year = {2026}
}
备注
13 pages, 7 figures