神经意识流
人工智能
2019-05-31 v1 机器学习
摘要
超越数据拟合的推理能力对于深度学习系统迈向通用人工智能至关重要。已有大量工作基于循环网络与强化学习将神经推理建模为迭代决策过程。与之不同，受 Yoshua Bengio 提出的意识先验启发，我们从认知视角探索以注意觉知为概念的推理，并将其表述为图上的注意消息传递形式，称为神经意识流（NeuCFlow）。为弥合深度学习系统与推理之间的鸿沟，我们提出一个由无意识流层、意识流层和注意流层组成的三层架构的注意计算框架。我们使用图神经网络（GNNs）与条件转移矩阵实现 NeuCFlow 模型。我们的注意计算大幅降低了基于普通 GNN 方法的复杂度，能够运行于大规模图上。我们通过求解一系列知识库补全（KBC）任务来验证模型在知识图推理上的表现。实验结果表明 NeuCFlow 显著优于以往最先进的 KBC 方法，包括基于嵌入与基于路径的方法。可复现代码见下方链接。
引用
@article{arxiv.1905.13049,
title = {Neural Consciousness Flow},
author = {Xiaoran Xu and Wei Feng and Zhiqing Sun and Zhi-Hong Deng},
journal= {arXiv preprint arXiv:1905.13049},
year = {2019}
}