基于连续对应嵌入和残差引导的手-物体操作合成框架 ManiDext
计算机视觉与模式识别
2024-09-17 v1
摘要
动态和灵巧的手-物体操作是一项复杂挑战，要求手部动作与物体轨迹同步，以实现顺畅且物理上合乎逻辑的交互。在本工作中，我们引入了 ManiDext，一个统一的层次化扩散框架，用于生成基于 3D 物体轨迹的手部操作和抓取姿态。我们的关键洞察是，准确建模手部与物体在相互作用期间的接触对应关系至关重要。因此，我们提出了一种连续对应嵌入表示，指定手部与物体之间在顶点级别的详细对应关系。该嵌入以自监督方式直接在手部网格上优化，嵌入之间的距离反映测地距离。我们的框架首先在物体表面生成接触图和对应嵌入。基于这些细粒度对应关系，我们引入了一种新方法，将迭代细化过程集成到扩散过程的第二个阶段的手部姿态生成中。在去噪过程的每一步中，我们将当前手部姿态残差作为细化目标纳入网络，以引导网络纠正不准确的手部姿态。在每个去噪步骤中引入残差本质上与传统优化过程相吻合，有效地将生成和细化统一为一个单一的框架。广泛的实验表明，我们的方法能够为各种任务（包括单手和双手抓取以及操作刚性和关节物体）生成物理上合乎逻辑且高度真实的运动。代码将用于科研目的。
引用
@article{arxiv.2409.09300,
title = {ManiDext: Hand-Object Manipulation Synthesis via Continuous Correspondence Embeddings and Residual-Guided Diffusion},
author = {Jiajun Zhang and Yuxiang Zhang and Liang An and Mengcheng Li and Hongwen Zhang and Zonghai Hu and Yebin Liu},
journal= {arXiv preprint arXiv:2409.09300},
year = {2024}
}