ProcTHOR：基于程序化生成的大规模具身人工智能

海量数据集与高容量模型推动了计算机视觉与自然语言理解领域诸多近期进展。本工作提出一个平台，以在具身人工智能（Embodied AI）中促成类似的成果。我们提出ProcTHOR，一个用于程序化生成具身AI环境的框架。ProcTHOR使我们能够采样任意大规模的多样化、可交互、可定制且高性能的虚拟环境数据集，以在导航、交互与操作任务上训练和评估具身智能体。我们通过一个包含10,000栋生成房屋的样本以及一个简单神经模型，展示了ProcTHOR的能力与潜力。仅在ProcTHOR上使用RGB图像训练、无显式建图且无人工任务监督的模型，在6项具身AI基准测试（涵盖导航、重排与机械臂操作）上取得了最先进结果，包括当前正在进行的Habitat 2022、AI2-THOR Rearrangement 2022与RoboTHOR挑战赛。我们还展示了在这些基准上的强零样本（0-shot）结果：通过在ProcTHOR上预训练且不在下游基准上微调，常击败可访问下游训练数据的以往最先进系统。