通过直通估计器将逻辑约束注入神经网络
人工智能
2023-07-11 v1 机器学习
神经与进化计算
摘要
将离散逻辑约束注入神经网络学习是神经符号 AI 的主要挑战之一。我们发现，一种为训练二值神经网络而引入的直通估计器(straight-through estimator)可有效用于将对逻辑约束的纳入引入神经网络学习。更具体地，我们设计了一种将离散逻辑约束表示为损失函数的系统性方法；通过直通估计器利用梯度下降最小化该损失，可沿二值化输出满足逻辑约束的方向更新神经网络的权重。实验结果表明，通过利用 GPU 与批量训练，该方法比现有需要繁重符号计算来求梯度的神经符号方法具有显著更好的可扩展性。此外，我们展示了我们的方法适用于不同类型的神经网络，如 MLP、CNN 与 GNN，使其通过直接从已知约束中学习，在无标记或较少标记数据下完成学习。
引用
@article{arxiv.2307.04347,
title = {Injecting Logical Constraints into Neural Networks via Straight-Through Estimators},
author = {Zhun Yang and Joohyung Lee and Chiyoun Park},
journal= {arXiv preprint arXiv:2307.04347},
year = {2023}
}
备注
27 pages