深度推理网络：快思考与慢思考
机器学习
2019-06-05 v2 人工智能
机器学习
摘要
我们提出深度推理网络(DRNets)，一种将深度学习与推理相结合以解决复杂任务的端到端框架，通常处于无监督或弱监督设定下。DRNets 通过紧密结将逻辑与约束推理同基于随机梯度的神经网络优化相结合，来利用问题结构与先验知识。我们在解混重叠的手写数独(Multi-MNIST-Sudoku)以及一项更为复杂、关乎在热力学规则下从 X 射线衍射数据推断材料晶体结构(Crystal-Structure-Phase-Mapping)的科学发现任务上展示了 DRNets 的能力。在高层，DRNets 对输入数据的结构化潜空间进行编码，并由推理模块约束其遵从先验知识。结构化潜编码被生成式解码器用于生成目标输出。最后，一个总体目标结合了来自生成式解码器（快思考）与推理模块（慢思考）的响应，并使用约束感知随机梯度下降进行优化。我们展示了如何将不同任务编码为 DRNets，并通过详尽实验证明 DRNets 的有效性：在 Crystal-Structure-Phase-Mapping 上 DRNets 显著优于最先进水平与专家能力，恢复出更精确且具物理意义的晶体结构；在 Multi-MNIST-Sudoku 上 DRNets 完美恢复混合数独的数字，数字准确率达 100%，优于有监督的最先进 MNIST 解混模型。最后，作为概念验证，我们也展示了 DRNets 可解决标准组合问题——9×9 数独谜题与布尔可满足性问题(SAT)，优于其他专用深度学习模型。DRNets 具有通用性，可调整与扩展以应对其他任务。
引用
@article{arxiv.1906.00855,
title = {Deep Reasoning Networks: Thinking Fast and Slow},
author = {Di Chen and Yiwei Bai and Wenting Zhao and Sebastian Ament and John M. Gregoire and Carla P. Gomes},
journal= {arXiv preprint arXiv:1906.00855},
year = {2019}
}