神经符号概念学习器：从自然监督中解释场景、词语与句子
计算机视觉与模式识别
2019-04-30 v1 人工智能
计算与语言
机器学习
摘要
我们提出神经符号概念学习器（NS-CL），该模型在视觉概念、词语和句子语义解析方面均无需任何显式监督即可学习；相反，我们的模型仅通过观看图像并阅读配对的问题与答案来学习。我们的模型构建基于对象的场景表示，并将句子翻译为可执行的符号程序。为桥接两个模块的学习，我们使用一个神经符号推理模块，在潜在场景表示上执行这些程序。类比人类概念学习，感知模块基于所指对象的语言描述学习视觉概念。同时，习得的视觉概念促进新词学习和新句子解析。我们使用课程学习来引导对图像与语言巨大组合空间的搜索。大量实验证明了我们的模型在学习视觉概念、词表示和句子语义解析上的准确性与效率。此外，我们的方法易于推广到新对象属性、组合、语言概念、场景与问题，甚至新程序领域。它还赋能包括视觉问答和双向图文检索在内的应用。
引用
@article{arxiv.1904.12584,
title = {The Neuro-Symbolic Concept Learner: Interpreting Scenes, Words, and Sentences From Natural Supervision},
author = {Jiayuan Mao and Chuang Gan and Pushmeet Kohli and Joshua B. Tenenbaum and Jiajun Wu},
journal= {arXiv preprint arXiv:1904.12584},
year = {2019}
}
备注
ICLR 2019 (Oral). Project page: http://nscl.csail.mit.edu/