SpriteHand：基于自回归视频生成的实时灵活手-物体交互
计算机视觉与模式识别
2025-12-02 v1 人机交互
摘要
建模与合成复杂的手-物体交互一直是even for state-of-the-art physics engines 的重大挑战。传统的仿真方法依赖于明确定义的刚性物体模型和预编写的手势，难以捕捉与非刚性或关节结构实体（如可变形纱布、弹性材料、铰链结构、毛绒表面或甚至活体生物）的动态交互。本文提出SpriteHand，一个用于实时合成各种物体类型和运动模式下手-物体交互视频的自回归视频生成框架。SpriteHand 以静态物体图像和手势想象与嵌入真实场景中虚拟物体的视频流为输入，实时生成相应的手-物体交互效果。该模型采用因果推断架构进行自回归生成，并利用混合后训练方法提升视觉真实性和时间一致性。我们的1.3B模型支持在单张NVIDIA RTX 5090 GPU 上实现约18 FPS、640x368分辨率的实时流式生成，延迟约150 ms，可连续输出超过1分钟。实验表明，与生成式和引擎基准方法相比，SpriteHand 在视觉质量、物理可信度和交互保真度方面表现优异。
引用
@article{arxiv.2512.01960,
title = {SpriteHand: Real-Time Versatile Hand-Object Interaction with Autoregressive Video Generation},
author = {Zisu Li and Hengye Lyu and Jiaxin Shi and Yufeng Zeng and Mingming Fan and Hanwang Zhang and Chen Liang},
journal= {arXiv preprint arXiv:2512.01960},
year = {2025}
}