基础模型在神经符号学习与推理中的作用

神经符号人工智能有望确保 AI 系统的安全部署，因为可解释的符号技术提供了形式化的行为保证。挑战在于如何有效地整合神经与符号计算，以实现从原始数据中学习和推理。按顺序训练神经和符号组件的现有流水线需要大量的标注，而端到端方法由于符号接地问题中的组合爆炸而在可扩展性方面受到限制。在本文中，我们利用基础模型内的隐式知识来提升神经符号任务中的性能，同时减少数据标注和手动工程的工作量。我们引入了一种名为 NeSyGPT 的新架构，该架构微调一个视觉-语言基础模型以从原始数据中提取符号特征，然后学习一个高表达性的回答集程序来解决下游任务。我们的全面评估表明，NeSyGPT 在各种基线上具有卓越的准确性，并且能够扩展到复杂的神经符号任务。最后，我们强调了利用大型语言模型生成神经和符号组件之间的编程接口的有效性，这显著减少了所需的手动工程量。