神经符号学习的语义强化

最近提出了许多神经符号方法，通常目标是将符号知识添加到神经网络的输出层。理想情况下，这种损失函数应最大化神经网络的预测满足底层领域的概率。遗憾的是，这种类型的概率推断在计算上通常是不可行的。因此，神经符号方法通常求助于这种概率目标的模糊近似，从而牺牲了可靠的概率语义，或者求助于极少可行的采样方法。我们通过首先假设约束条件以网络学习到的特征为条件进行分解来处理该问题。我们迭代地强化我们的近似，恢复对降低近似质量负有最大责任的约束之间的依赖关系。这对应于计算以网络学习到的特征为条件的成对约束之间的互信息，并且可以被视为衡量两个分布梯度对齐程度的指标。我们展示了如何为易处理电路高效地计算此指标。我们在三个任务上测试了我们的方法：在 Warcraft 中预测最小成本路径、预测最小成本完美匹配以及求解数独谜题，观察到它在避开不可处理性的同时改进了基线。