基于生成式神经符号建模学习任务通用表示

人能够从仅有的原始感知输入中学习丰富、通用的概念表示。当前的机器学习方法远未达到这些人类标准，尽管不同的建模传统往往具有互补的优势。符号模型可以捕捉实现灵活泛化的组合性与因果性知识，但它们难以从原始输入中学习，依赖于强抽象与简化假设。神经网络模型可以直接从原始数据中学习，但它们难以捕捉组合与因果结构，并且通常必须重新训练以应对新任务。我们将这两种传统结合起来，以学习捕捉丰富组合与因果结构、同时从原始数据学习的概念生成模型。我们提出了一种手写字符概念的生成式神经符号（GNS）模型，该模型利用概率程序的控制流，结合符号笔画基元与符号图像渲染器，来表示字符形成的因果与组合过程。部件（笔画）的分布以及部件间的相关性由神经网络子程序建模，使模型能直接从原始数据学习并表达非参数统计关系。我们将模型应用于 Omniglot 人类水平概念学习的挑战，使用一组背景字母表来学习字符绘制的具表达力的先验分布。在后续评估中，我们的 GNS 模型使用概率推断从单张训练图像中学习丰富的概念表示，并泛化到 4 项独特任务，在先前工作未能成功之处取得成功。