SimGenHOI：基于生成式建模与强化学习的物理真实全身人类-物体交互
机器人学
2025-08-21 v1 人工智能
摘要
生成物理上真实的人类-物体交互（HOI）是机器人领域的基础挑战。现有的HOI生成方法，如扩散模型，常常存在 implausible contacts（不合理接触）、penetrations（穿透）和不真实的全身动作等问题，阻碍其在物理环境中的成功执行。为此，我们引入SimGenHOI，一个统一框架，结合生成式建模和强化学习的优势，产生可控且物理上合理的HOI。我们的HOI生成模型基于扩散Transformer（DiT），根据文本提示、物体几何、稀疏物体路标和初始人体姿态预测一组关键动作。这些关键动作捕捉了基本的交互动力学，并被插值生成平滑的动作轨迹，自然支持长时段生成。为确保物理真实性，我们设计了一个基于接触感知的全身控制策略，通过强化学习训练，该策略在跟踪生成的动作的同时纠正穿透和脚步滑动等瑕疵。此外，我们引入一种互联微调策略，使生成模型和控制策略相互精炼，从而提升动作的真实性和跟踪鲁棒性。大量实验表明，SimGenHOI能够生成真实、多样且物理上合理的人类-物体交互，在仿真中实现了显著提升的跟踪成功率，并能实现长时段操纵任务。代码将在项目页面https://xingxingzuo.github.io/simgen_hoi 在接受录取后发布。
引用
@article{arxiv.2508.14120,
title = {SimGenHOI: Physically Realistic Whole-Body Humanoid-Object Interaction via Generative Modeling and Reinforcement Learning},
author = {Yuhang Lin and Yijia Xie and Jiahong Xie and Yuehao Huang and Ruoyu Wang and Jiajun Lv and Yukai Ma and Xingxing Zuo},
journal= {arXiv preprint arXiv:2508.14120},
year = {2025}
}