通过集成神经感知、语法解析与符号推理的闭环神经-符号学习
机器学习
2020-07-29 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
神经-符号计算的目标是整合连接主义与符号主义范式。先前的方法使用强化学习（RL）方法学习神经-符号模型，其忽略了符号推理模块中的误差传播，因而在稀疏奖励下收敛缓慢。在本文中，我们解决这些问题并通过以下方式闭合神经-符号学习的环路：（1）引入语法模型作为符号先验以桥接神经感知与符号推理；（2）提出一种新颖的反向搜索算法，其模拟自顶向下类人的学习过程以高效地将误差通过符号推理模块传播。我们进一步将所提出的学习框架解释为使用马尔可夫链蒙特卡洛采样的最大似然估计，并将反向搜索算法解释为 Metropolis-Hastings 采样器。实验在两个弱监督神经-符号任务上进行：（1）新引入的 HWF 数据集上的手写公式识别；（2）CLEVR 数据集上的视觉问答。结果表明，我们的方法在性能、收敛速度和数据效率方面显著优于 RL 方法。我们的代码和数据发布于 \url{https://liqing-ustc.github.io/NGS}。
引用
@article{arxiv.2006.06649,
title = {Closed Loop Neural-Symbolic Learning via Integrating Neural Perception, Grammar Parsing, and Symbolic Reasoning},
author = {Qing Li and Siyuan Huang and Yining Hong and Yixin Chen and Ying Nian Wu and Song-Chun Zhu},
journal= {arXiv preprint arXiv:2006.06649},
year = {2020}
}
备注
ICML 2020. Project page: https://liqing-ustc.github.io/NGS