学习用于人机交互的社会可供性

在本文中，我们提出了一种从人类活动视频中让机器人学习社会可供性的方法。我们在人机交互的背景下考虑该问题：我们的方法学习人-人（以及人-物-人）交互的结构化表示，描述每个智能体的身体部位如何相对于彼此运动，以及为完成每个子事件（即子目标）它们应保持何种空间关系。这使得机器人能够根据人体运动推断自身的运动，从而自然地复现此类交互。我们引入了社会可供性的表示，并提出了一种从人类演示视频中进行弱监督学习的生成模型。我们的方法发现交互中的关键步骤（即潜在子事件）及与之相关的典型运动，学习应涉及哪些身体部位以及如何涉及。实验结果表明，我们基于马尔可夫链蒙特卡洛（MCMC）的学习算法能从RGB-D视频中自动发现语义有意义的交互可供性，从而能够为一个智能体生成适当的全身运动。