用于神经符号推理与学习的凸优化与双层优化
机器学习
2024-06-05 v2 人工智能
最优化与控制
摘要
我们利用凸优化和双层优化技术，为神经符号 (NeSy) 系统开发了一种通用的基于梯度的参数学习框架。我们以最先进的 NeSy 架构 NeuPSL 为例展示了该框架。为此，我们提出了 NeuPSL 推理的光滑原始 - 对偶形式，并表明学习梯度是最优对偶变量的函数。此外，针对新形式我们开发了一种对偶块坐标下降算法，该算法自然地利用了热启动 (warm-starts)。这使得学习运行时间相较于当前最佳的 NeuPSL 推理方法提高了 100 倍以上。最后，我们在涵盖多种任务的 8 个数据集上进行了广泛的实证评估，结果表明我们的学习框架相较于其他学习方法实现了高达 16 个百分点的预测性能提升。
引用
@article{arxiv.2401.09651,
title = {Convex and Bilevel Optimization for Neuro-Symbolic Inference and Learning},
author = {Charles Dickens and Changyu Gao and Connor Pryor and Stephen Wright and Lise Getoor},
journal= {arXiv preprint arXiv:2401.09651},
year = {2024}
}