神经网络能推理什么？
机器学习
2020-02-18 v4 人工智能
计算机视觉与模式识别
神经与进化计算
机器学习
摘要
神经网络在许多推理任务中取得了成功。经验上，这些任务需要专门的网络结构，例如图神经网络（GNNs）在许多此类任务上表现良好，而结构较松散的网络则失败。理论上，尽管不同网络具有相等的表达能力，人们对于为何以及何时一种网络结构比另一种泛化更好理解有限。在本文中，我们通过研究网络的计算结构与该相关推理过程的算法结构对齐程度，发展了一个刻画网络能多好地学习哪些推理任务的框架。我们正式定义了这种算法对齐，并推导出一个随对齐程度改善而减小的样本复杂度界。该框架为流行推理模型的经验成功提供了解释，并指出了它们的局限性。作为一个例子，我们通过强大的算法范式——动态规划（DP）的视角，统一了看似不同的推理任务，如直觉物理、视觉问答和最短路径。我们展示 GNNs 与 DP 对齐，因此有望解决这些任务。在多个推理任务上，我们的理论得到了经验结果的支持。
引用
@article{arxiv.1905.13211,
title = {What Can Neural Networks Reason About?},
author = {Keyulu Xu and Jingling Li and Mozhi Zhang and Simon S. Du and Ken-ichi Kawarabayashi and Stefanie Jegelka},
journal= {arXiv preprint arXiv:1905.13211},
year = {2020}
}