草图-规划-泛化：利用神经符号程序化表示学习和规划归纳空间概念
机器学习
2025-06-18 v3 机器人学
摘要
有效的人机协作需要从有限数量的演示中学习个性化概念的能力，同时展现出归纳泛化、层次组合以及对新约束的适应性。现有的使用预训练大（视觉）语言模型代码生成能力的方法以及纯神经模型，对先验未见过的复杂概念泛化能力较差。神经符号方法（Grand et al., 2023）通过在程序空间中搜索提供了一种有前景的替代方案，但由于无法有效利用演示来指导搜索，在大型程序空间中面临挑战。我们的核心见解是将归纳概念学习分解为：(i) 草图：检测并推断新概念的粗略特征；(ii) 规划：在人类演示引导下，对基于环境的动作序列执行蒙特卡洛树搜索；(iii) 泛化：将基于环境的计划抽象为归纳程序。我们的流程促进了泛化和模块化重用，实现了持续的概念学习。我们的方法结合了大型语言模型的代码生成能力与基于环境的神经表征，由此产生的神经符号程序在构建复杂结构的任务上，相较于仅使用LLM和纯神经网络的方法，展现出更强的归纳泛化能力。此外，我们展示了利用所学概念进行推理和规划的能力，以完成具身指令跟随任务。
引用
@article{arxiv.2404.07774,
title = {Sketch-Plan-Generalize: Learning and Planning with Neuro-Symbolic Programmatic Representations for Inductive Spatial Concepts},
author = {Namasivayam Kalithasan and Sachit Sachdeva and Himanshu Gaurav Singh and Vishal Bindal and Arnav Tuli and Gurarmaan Singh Panjeta and Harsh Himanshu Vora and Divyanshu Aggarwal and Rohan Paul and Parag Singla},
journal= {arXiv preprint arXiv:2404.07774},
year = {2025}
}
备注
Programmatic Representations for Agent Learning Worskop, ICML 2025