从交互运动中学习预测人类如何操控大尺寸物体
计算机视觉与模式识别
2022-06-28 v1 人机交互
摘要
理解交互过程中人类的意图是一个长期主题，在人机交互、虚拟现实和监控中有应用。本研究关注全身与大尺寸日常物体的交互，旨在给定一段人体-物体交互的序列观测，预测物体与人类的未来状态。由于目前没有专用于全身与大尺寸日常物体交互的数据集，我们收集了一个包含数千次交互的大规模数据集用于训练和评估。我们还观察到物体的内在物理属性有助于物体运动预测，从而设计了一组物体动态描述子来编码此类内在属性。我们将物体动态描述子视为一种新的模态，并提出图神经网络 HO-GCN，融合运动数据与动态描述子以完成预测任务。我们展示了所提消费动态描述子的网络能取得最先进的预测结果，并帮助网络更好地泛化到未见过的物体。我们还证明了预测结果对人机协作有用。
引用
@article{arxiv.2206.12612,
title = {Learn to Predict How Humans Manipulate Large-sized Objects from Interactive Motions},
author = {Weilin Wan and Lei Yang and Lingjie Liu and Zhuoying Zhang and Ruixing Jia and Yi-King Choi and Jia Pan and Christian Theobalt and Taku Komura and Wenping Wang},
journal= {arXiv preprint arXiv:2206.12612},
year = {2022}
}