用于对手行为建模的视觉视角采择

为了参与复杂的社会交互，人类在幼年时便学会从不同的视点推断他人能看见和不能看见什么，并学会预测他人的计划和行为。这些能力在机器人中大多缺失，有时使它们显得笨拙且缺乏社交能力。在此我们提出一个端到端长期视觉预测框架，使机器人开始习得这两项关键的认知技能，即视觉视角采择（VPT）和行为理论（TOB）。我们在视觉捉迷藏——一个代表人类发展认知里程碑的游戏——的背景下展示了我们的方法。与从紧邻的过去帧生成新帧的传统视觉预测模型不同，我们的智能体可直接预测多个未来时间戳（25秒），将外推延伸至训练视界之外的 175%。我们认为，视觉行为建模与视角采择技能将在实体机器人完全融入真实世界多智能体活动的能力中扮演关键角色。我们的网站位于 http://www.cs.columbia.edu/~bchen/vpttob/。