神经网络的符号合成

神经网络非常适应分布式与连续表示，但难以从少量数据泛化。符号系统通常通过利用模块化从表示的局部与离散特征中获益，从而实现数据高效泛化。这些特征使符号程序可逐模块改进，并在可成功处理的值上经历组合增长。然而，难以设计一个既能用于形成符号抽象、又充分过参数化以学习任意高维变换的组件。我提出基于图的符号合成神经网络（G-SSNNs），一类作用于经合成符号程序修改以包含一组固定局部与离散特征的表示的神经模块。我证明G-SSNN模块内注入特征的选择调节基线神经模型的数据效率与泛化，产生可预测的增强与削弱泛化模式。通过训练G-SSNNs，我们还推导出关于符号程序期望语义的信息而无需手工工程。该信息紧凑且易于抽象，也可灵活重新语境化到其他高维设置。在未来工作中，我将基于更复杂的符号程序类，在更复杂的G-SSNN设计中研究数据高效泛化与所学符号表示的转移性。实验代码与数据见 https://github.com/shlomenu/symbolically_synthesized_networks 。