用于关节物体交互的结构化潜变量模型

本文研究一种场景：机器人给定一段门开启或关闭的视频，学习门的低维表示。该表示可用于推断门相关参数并预测与门交互的结果。当前门领域基于机器学习的方法主要依赖于标注数据集。然而，大量可用的门数据表明基于预训练的半监督方法可行。为利用数据集的层次结构（每扇门有多张关联图像），我们使用一种称为神经统计学家的结构化潜变量模型进行预训练。神经统计学家强制分离共享上下文级变量（同一扇门所有关联图像间通用）与实例级变量（各单独图像独有）。我们首先证明神经统计学家能够学习一种嵌入，实现逼真门图像的重建与采样。然后，我们在一系列监督推断任务中评估所学嵌入与人类可解释参数的对应性。研究发现，在从门图像预测门朝向、尺寸、角度位置和配置时，预训练的神经统计学家编码器优于无上下文的类似基线。最后，在包含多种门配置的视觉bandit开门任务中，我们发现神经统计学家嵌入比无上下文基线取得更低regret。