基于分布式力感知接触表示的手-物体交互动态重建

我们提出了 ViTaM-D，一种新颖的视觉-触觉框架，利用分布式触觉感知重建动态手-物体交互以增强接触建模。现有方法仅依赖视觉输入，往往无法捕捉被遮挡的交互和物体变形。为此，我们引入了 DF-Field，一种利用手-物体交互中的动能和势能的分布式力感知接触表示。ViTaM-D 首先利用带有接触约束的视觉网络重建交互，然后通过力感知优化细化接触细节，改进物体变形建模。为了评估可变形物体重建，我们引入了 HOT 数据集，包含 600 个高精度仿真环境下的手-物体交互序列。在 DexYCB 和 HOT 数据集上的实验表明，ViTaM-D 在刚性和可变形物体的重建精度上均优于最先进方法。DF-Field 在细化手部姿态和增强接触建模方面也比以往的细化方法更有效。代码、模型和数据集可在 https://sites.google.com/view/vitam-d/ 获取。