将符号先验蒸馏至神经网络用于概念学习

人类能够通过利用其归纳偏置从少量示例中学习新概念。这些归纳偏置先前已通过使用定义在符号假设空间上的贝叶斯模型来捕捉。是否有可能创建一个展现出相同归纳偏置的神经网络？我们证明，通过元学习——一种从一组任务中提取共同结构的方法——从符号贝叶斯模型中蒸馏先验分布，可以在人工神经网络中实例化那些能够实现快速概念学习的归纳偏置。通过从贝叶斯模型的先验分布生成用于元学习的任务集，我们能够将该先验迁移到神经网络中。我们使用这种方法创建了一个对以短逻辑公式表达的概念具有归纳偏置的神经网络。通过分析先前行为实验中人们从少量示例学习逻辑概念的结果，我们发现我们的元训练模型与人类表现高度一致。