简单有效的神经符号集成迁移学习

深度学习（DL）技术近年来取得了显著成功。然而，其泛化和执行推理任务的能力仍然是一个挑战。解决此问题的一个潜在方案是神经符号集成（NeSy），即将神经方法与符号推理相结合。大多数这些方法利用神经网络将感知映射到符号，并利用逻辑推理器预测下游任务的输出。与全神经架构相比，这些方法表现出更优越的泛化能力。然而，它们存在若干问题，包括收敛缓慢、复杂感知任务的学习困难以及收敛到局部极小值。本文提出了一种简单而有效的方法来改善这些问题。关键思想是在下游任务上预训练一个神经模型。然后，通过迁移学习在同一任务上训练 NeSy 模型，其中感知部分的权重从预训练网络注入。我们工作的关键观察结果是，神经网络仅在符号层面无法泛化，而在从感知到符号的映射学习方面完全有能力。我们在各种 SOTA NeSy 方法和数据集上测试了我们的训练策略，证明了在上述问题上的持续改进。