用于光照逼真手-物体交互合成的环视世界模型
计算机视觉与模式识别
2026-03-17 v1 机器人学
摘要
为了作为具身 AI 的可扩展数据源，世界模型应作为真正的模拟器，仅从用户动作推断交互动力学，而非依赖未来物体状态的条件视频生成。在此背景下，环视人-物体交互（HOI）世界模型对于预测物理驱动的第一人称滚动至关重要。然而，构建此类模型在挑战性极大，因为头部快速运动、严重遮挡以及高自由度手部关节运动会突然改变接触拓扑结构。因此，现有方法常规避这些物理挑战，诉诸条件视频生成并访问已知的未来物体轨迹。我们提出 EgoHOI，一种环视 HOI 世界模型，摆脱了这一捷径，仅凭动作信号即可模拟光照逼真且符合接触约束的交互。为确保无需未来状态输入的物理准确性，EgoHOI 将几何与运动学先验从 3D 估计蒸馏到物理信息嵌入中。这些嵌入对环视滚动施加物理有效动力学的正则化。在 HOT3D 数据集上的实验表明，我们的方法在强基准上实现了持续的性能提升，消融实验验证了物理信息设计的有效性。
引用
@article{arxiv.2603.13615,
title = {Egocentric World Model for Photorealistic Hand-Object Interaction Synthesis},
author = {Dayou Li and Lulin Liu and Bangya Liu and Shijie Zhou and Jiu Feng and Ziqi Lu and Minghui Zheng and Chenyu You and Zhiwen Fan},
journal= {arXiv preprint arXiv:2603.13615},
year = {2026}
}