拆解与重建：基于乐高积木的交互式结构理解

对具有复杂空间关系的几何结构进行视觉理解是人类智能的基本组成部分。在孩童时期，我们不仅通过观察，也通过与周围世界的交互——把事物拆开再重新组装——来学习如何对结构进行推理。对结构与组合性进行推理的能力使我们不仅能够建造事物，还能理解和逆向工程复杂系统。为推动基于部件几何理解的交互式推理研究，我们提出了一种使用乐高积木的、称为“拆解与重建”(Break and Make)的极具挑战性的新组装问题。在该问题中，智能体给定一个乐高模型，并尝试通过交互式检查和拆解来理解其结构。在此检查阶段之后，智能体必须通过使用低级动作原语从零开始重建该模型来证明自己的理解。为促进该问题的研究，我们构建了LTRON，一个完全交互式的3D模拟器，允许学习智能体组装、拆解和操控乐高模型。我们将该模拟器与一个新的、从互联网上下载的乐高爱好者作品数据集配对，以提供包含超过一千种独特积木形状的复杂场景。我们使用序列到序列模型向解决该问题迈出第一步，并为如何在这一挑战性问题上取得进展提供指导。我们的模拟器与数据可在 github.com/aaronwalsman/ltron 获取。额外的训练代码与PyTorch示例可在 github.com/aaronwalsman/ltron-torch-eccv22 获取。