WristWorld：基于 4D 世界模型生成手腕视角用于机器人操作
计算机视觉与模式识别
2025-10-09 v1 机器人学
摘要
手腕视角观察对于 VLA 模型至为重要，因为它们捕捉到细粒度的手-物体交互，从而直接提升操作性能。然而，大规模数据集很少包含此类录像，导致充足的锚点视角与稀缺的手腕视角之间存在显著差距。现有的世界模型无法弥合这一差距，因为它们需要手腕视角的第一帧，从而无法仅从锚点视角生成手腕视角视频。在这一差距中，最近出现的视觉几何模型如 VGGT 具备几何和跨视角先验，使我们有望解决极端视角转换的问题。受这些启发，我们提出了 WristWorld，即第一个仅从锚点视角生成手腕视角视频的 4D 世界模型。WristWorld 包含两个阶段：(i) 重建阶段，通过扩展 VGGT 并引入我们的空间投影一致性（SPC）损失来估计几何一致的手腕视角姿态和 4D 点云；(ii) 生成阶段，采用我们的视频生成模型从重建的视角合成具有时序一致性的手腕视角视频。在 Droid、Calvin 和 Franka Panda 上的实验表明，WristWorld 在视频生成方面实现了最先进的效果，具备优异的空间一致性，同时还能提升 VLA 性能，将 Calvin 上的平均任务完成长度提高 3.81%，并缩小锚点视角与手腕视角之间的差距 42.4%。
引用
@article{arxiv.2510.07313,
title = {WristWorld: Generating Wrist-Views via 4D World Models for Robotic Manipulation},
author = {Zezhong Qian and Xiaowei Chi and Yuming Li and Shizun Wang and Zhiyuan Qin and Xiaozhu Ju and Sirui Han and Shanghang Zhang},
journal= {arXiv preprint arXiv:2510.07313},
year = {2025}
}