通向可泛化神经符号学习之路应以基础模型铺就

神经符号学习的提出是为了解决训练神经网络执行复杂推理任务的挑战，并带来可解释性、可靠性和效率等额外益处。传统的神经符号学习方法将神经模型与符号程序结合进行训练，但它们面临重大挑战，使其局限于简单的问题。另一方面，纯神经基础模型现在通过提示而非训练达到了最先进的性能，但它们通常不可靠且缺乏可解释性。用符号程序补充基础模型，我们称之为神经符号提示，提供了一种将这些模型用于复杂推理任务的方法。这样做引出了一个问题：在基础模型时代，作为神经符号学习一部分的专门模型训练扮演什么角色？为了探讨这个问题，我们强调了传统神经符号学习在计算、数据和程序方面的三个陷阱，这些陷阱导致了泛化问题。这篇立场论文认为，基础模型使可泛化的神经符号解决方案成为可能，提供了一条在没有从头训练缺点的情况下实现神经符号学习最初目标的途径。