PRIMAL：面向Avatar学习的物理响应式交互运动模型
计算机视觉与模式识别
2025-08-05 v2 人工智能
摘要
我们将交互式Avatar的运动系统形式化为一种可驱动其身体在3D空间中永恒、真实、可控且响应式地运动的生成式运动模型。尽管人类运动生成已被广泛研究，但许多现有方法缺乏真实人类运动的响应性和真实性。受最新基础模型进展的启发，我们提出PRIMAL，该模型采用两种阶段的范式进行学习。在预训练阶段，模型从大量亚秒运动片段中学习身体运动，提供一种可供更复杂运动构建的生成式基础。该训练完全无监督，不需要注释。给定推断时的单个帧初始状态，预训练模型不仅生成无限制、真实、可控的运动，还能使Avatar在real-time中响应诱导的冲击。在适应阶段，我们采用一种 novel ControlNet-like adapt器高效微调基本模型，将其适应于新的任务，如few-shot个性化动作生成和空间目标到达。评估显示，我们的方法优于state-of-the-art基线。我们利用该模型在Unreal Engine中创建一个real-time角色动画系统，感觉极具响应性和自然。代码、模型和更多结果可在：https://yz-cnsdqz.github.io/eigenmotion/PRIMAL获取
引用
@article{arxiv.2503.17544,
title = {PRIMAL: Physically Reactive and Interactive Motor Model for Avatar Learning},
author = {Yan Zhang and Yao Feng and Alpár Cseke and Nitin Saini and Nathan Bajandas and Nicolas Heron and Michael J. Black},
journal= {arXiv preprint arXiv:2503.17544},
year = {2025}
}
备注
ICCV'25 camera ready; main paper and appendix; 19 pages in total