GNFactor：基于可泛化神经特征场的真实机器人多任务学习

在机器人领域，开发能够从非结构化真实世界环境中的视觉观测执行多样操作任务的智能体是一个长期存在的问题。为实现此目标，机器人需要对场景的 3D 结构与语义有全面理解。在这项工作中，我们提出 $\textbf{GNFactor}$，一种用于多任务机器人操作的视觉行为克隆智能体，具有 $\textbf{G}$eneralizable $\textbf{N}$eural feature $\textbf{F}$ields（可泛化神经特征场）。GNFactor 联合优化一个可泛化神经场（GNF）作为重建模块和一个 Perceiver Transformer 作为决策模块，利用共享的深度 3D 体素表示。为在 3D 中融入语义，重建模块利用视觉-语言基础模型（$\textit{e.g.}$，Stable Diffusion）将丰富的语义信息蒸馏到深度 3D 体素中。我们在 3 个真实机器人任务上评估 GNFactor，并在 10 个 RLBench 任务上以少量演示进行详细消融。我们观察到 GNFactor 在已见和未见任务上相较当前最先进方法均有显著提升，展示了 GNFactor 强大的泛化能力。我们的项目网站是 https://yanjieze.com/GNFactor/ 。