仿生人类的感知主动性与灵巧性：来自视觉强化学习的涌现
机器人学
2025-05-20 v1 计算机视觉与模式识别
摘要
人类行为在本质上受到视觉感知的塑造——我们能够与世界交互的能力取决于主动收集相关信息并据此调整运动方式。诸如寻找物体、到达以及手眼协调等行为，自然地从感官系统的结构中涌现出来。着眼于这些原则，我们引入感知灵巧控制框架（Perceptive Dexterous Control, PDC），用于仿真人类的视觉驱动型灵巧全身控制。PDC仅依赖于第三人称视觉进行任务规定，能够通过视觉线索实现物体搜索、目标放置和技能选择，不依赖特权状态信息（如3D物体位置与几何形状）。这种感知即接口的范式使我们能够学习一个单一的策略来执行多项家庭任务，包括到达、抓取、放置和具象化物体操作。我们还展示了，仅凭从零开始的强化学习训练即可产生诸如主动搜索等涌现行为。这些结果表明，视觉驱动的控制与复杂任务共同催生了类人行为，为动画、机器人和具身人工智能中的感知-动作闭环提供了关键要素。
引用
@article{arxiv.2505.12278,
title = {Emergent Active Perception and Dexterity of Simulated Humanoids from Visual Reinforcement Learning},
author = {Zhengyi Luo and Chen Tessler and Toru Lin and Ye Yuan and Tairan He and Wenli Xiao and Yunrong Guo and Gal Chechik and Kris Kitani and Linxi Fan and Yuke Zhu},
journal= {arXiv preprint arXiv:2505.12278},
year = {2025}
}
备注
Project page: https://zhengyiluo.github.io/PDC