论神经符号学习中的独立性假设

最先进的神经符号学习系统使用概率推理来引导神经网络做出符合符号逻辑约束的预测。许多此类系统假设，给定输入时，所考虑符号的概率是条件独立的，以简化学习和推理。我们研究并批评了这一假设，强调它如何阻碍优化并阻止不确定性量化。我们证明，损失函数会使条件独立的神经网络在其预测中变得过度自信。因此，它们无法表示对多个有效选项的不确定性。此外，我们证明这些损失函数难以优化：它们是非凸的，且其极小值通常高度不连通。我们的理论分析为取代条件独立性假设并设计更具表达能力的神经符号概率模型奠定了基础。