基于语法的具身词典学习
计算与语言
2023-08-28 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
我们提出基于语法的具身词典学习（Grammar-Based Grounded Lexicon Learning, G2L2），这是一种词典主义方法，旨在从具身数据（如配对的图像与文本）中学习语言的组合式且具身的意义表示。G2L2 的核心是一组词典条目，将每个词映射到一个句法类型和一个神经符号语义程序的元组。例如，单词 shiny 的句法类型为形容词；其神经符号语义程序具有符号形式 {\lambda}x. filter(x, SHINY)，其中概念 SHINY 关联一个神经网络嵌入，该嵌入将用于分类闪亮物体。给定输入句子，G2L2 首先查找与每个词符关联的词典条目。然后它基于句法组合词汇意义，将句子的意义推导为一个可执行的神经符号程序。恢复出的意义程序可在具身输入上执行。为在指数级增长的组合空间中促进学习，我们引入了一种联合解析与期望执行算法，该算法对推导进行局部边缘化以减少训练时间。我们在两个领域上评估 G2L2：视觉推理与语言驱动导航。结果表明，G2L2 能从少量数据泛化到词语的新组合。
引用
@article{arxiv.2202.08806,
title = {Grammar-Based Grounded Lexicon Learning},
author = {Jiayuan Mao and Haoyue Shi and Jiajun Wu and Roger P. Levy and Joshua B. Tenenbaum},
journal= {arXiv preprint arXiv:2202.08806},
year = {2023}
}
备注
Minor typo fixes. NeurIPS 2021. Project page: https://g2l2.csail.mit.edu/