DexSIM：基于统一因果视频扩散的实时指尖灵活仿真

近期视频扩散模型的进展已大幅度促进了物理世界仿真。然而，利用手部对象交互进行仿真的工作仍较少。我们提出 DexSIM，一个用于实时指尖灵活操作仿真的框架。虽然先前方法利用视频扩散和 3D 重建专注于导航，但指尖灵活操作受限且具有广泛应用，如创建与仿真世界交互的体验以及为机器人生成合成数据。现有方法缺乏实时交互性和长期空间一致性及记忆。我们提出两阶段训练框架：首先通过联合嵌入手部动作轨迹和视频于统一特征空间训练双向视频扩散模型。我们采用高斯热力图手部编码以获得更精确的手部表示。随后采用基于滚动的自回归训练，利用更新后的空间缓存作为注意力汇聚点，以实现空间记忆，这提高了长期一致性和 3D 感知的指尖灵活操作仿真。DexSIM 在像素与语义相似性、运动保真度以及手部投影精度方面均优于基线。它还支持手部动作迁移等新应用，实现 15.24 FPS 的实时交互。