Interactive Humanoid：基于社会可供性规范化与预测的在线全身运动反应合成
计算机视觉与模式识别
2024-02-06 v3
摘要
我们专注于可选带有物体的人-类人形机器人交互任务。我们提出了一项名为在线全身运动反应合成的新任务，该任务根据人类动作者的动作生成类人形机器人的反应。先前的工作仅关注不带物体的人类交互，并生成不带手部的身体反应。此外，他们也没有将该任务视为在线设定，这意味着在实际情况下无法观测当前时刻之后的信息。为了支持这项任务，我们构建了两个名为 HHI 和 CoChair 的数据集，并提出了一种统一的方法。具体而言，我们提出构建一种社会可供性表示。我们首先选择一个社会可供性载体，并使用 SE(3)-Equivariant Neural Networks 学习载体的局部坐标系，然后对社会可供性进行规范化。此外，我们提出了一种社会可供性预测方案，使反应者能够基于想象的未来进行预测。实验表明，我们的方法能够在 HHI 和 CoChair 上有效生成高质量的反应。此外，我们还在现有的人类交互数据集 Interhuman 和 Chi3D 上验证了我们的方法。
引用
@article{arxiv.2312.08983,
title = {Interactive Humanoid: Online Full-Body Motion Reaction Synthesis with Social Affordance Canonicalization and Forecasting},
author = {Yunze Liu and Changxi Chen and Li Yi},
journal= {arXiv preprint arXiv:2312.08983},
year = {2024}
}