SONIC：扩展运动跟踪以实现自然人oid全身控制
机器人学
2026-05-22 v3 人工智能
计算机视觉与模式识别
图形学
系统与控制
系统与控制
摘要
尽管基于数十亿参数的基础模型在数千个 GPU 上进行大规模训练在最近取得了显著进展, 类规模提升在人oid控制中并未得到体现。当前用于人oid的神经控制器规模有限, 目标行为范围有限, 且在少数 GPU 上进行训练。我们表明, 通过扩大模型容量、数据和计算量可实现具备自然、稳健全身运动的通用人oid控制器。我们将运动跟踪定位为人oid控制的可扩展任务, 利用来自多样化运动捕捉数据的稠密监督信息, 在无需手动奖励工程的情况下获取人类运动先验知识。我们通过沿三个轴向构建运动跟踪基础模型: 网络规模 (120 万至 420 万参数), 数据规模 (1.2 亿+帧, 来自 700 小时运动捕捉), 计算资源 (2.1 万 GPU 小时)。除证明规模效应外, 我们进一步通过 (1) 实时动力学规划器将运动跟踪与导航等任务衔接, 实现自然交互式控制, (2) 统一的 token 空间支持 VR 遥控和视觉-语言-动作 (VLA) 模型以单一策略实现, 在此接口下, 我们演示了自主 VLA驱动的全身loco-操作, 需要手脚协调定位。规模化运动跟踪具有良好的特性: 性能随计算和数据多样性稳步提升, 学习的策略可推广至未见运动, 确立了大规模运动跟踪作为人oid控制的实用基础。
引用
@article{arxiv.2511.07820,
title = {SONIC: Supersizing Motion Tracking for Natural Humanoid Whole-Body Control},
author = {Zhengyi Luo and Ye Yuan and Tingwu Wang and Chenran Li and Fernando Castañeda and Sirui Chen and Zi-Ang Cao and Jiefeng Li and David Minor and Qingwei Ben and Jinhyung Park and David Sami and Zi Wang and Xingye Da and Runyu Ding and Cyrus Hogg and Lina Song and Edy Lim and Eugene Jeong and Tairan He and Haoru Xue and Wenli Xiao and Simon Yuen and Jan Kautz and Yan Chang and Umar Iqbal and Linxi "Jim" Fan and Yuke Zhu},
journal= {arXiv preprint arXiv:2511.07820},
year = {2026}
}
备注
Project page: https://nvlabs.github.io/SONIC/