模理论学习
机器学习
2023-01-30 v1 符号计算
摘要
近期将\emph{求解器层}集成到深度神经网络（DNNs）中的技术，已展现出弥合归纳学习与符号推理技术之间长期鸿沟的潜力。本文提出一组将\emph{可满足性模理论}（SMT）求解器集成到深度网络层前向与反向传播中的技术，称为 SMTLayer。该方法可将丰富的领域知识以数学公式形式编码进网络。在前向传播中，求解器利用前层产生的符号及这些公式进行推断；在反向传播中，求解器指导网络更新，驱动其朝向与求解器理论相容的表示。值得注意的是，求解器无需可微。我们将\layername 实现为 Pytorch 模块，实证结果表明其带来的模型\emph{1)}比常规模型需要更少训练样本，\emph{2)}对特定类型的协变量偏移具有鲁棒性，且\emph{3)}最终学到与符号知识一致的表示，从而天然可解释。
引用
@article{arxiv.2301.11435,
title = {Learning Modulo Theories},
author = {Matt Fredrikson and Kaiji Lu and Saranya Vijayakumar and Somesh Jha and Vijay Ganesh and Zifan Wang},
journal= {arXiv preprint arXiv:2301.11435},
year = {2023}
}