深度学习与量子纠缠：面向网络设计的基本联系与启示
机器学习
2017-04-11 v2 神经与进化计算
量子物理
摘要
深度卷积网络在各种机器学习应用中取得了前所未有的成功。关于这些网络为何如此成功的正式理解正在逐渐展开，但在很大程度上仍有重大谜团有待解开。反映嵌入网络架构中先验知识的归纳偏置（inductive bias）就是其中之一。在这项工作中，我们建立了量子物理与深度学习领域之间的基本联系。我们利用这一联系提出了关于卷积网络每一层通道数在整体归纳偏置中所起作用的新颖理论观察。具体而言，我们展示了深度卷积算术电路（ConvAC）实现的函数与量子多体波函数之间的等价性，这依赖于它们共同的底层张量结构。这促进了量子纠缠度量作为明确定义的量词，用于量化深度网络对其输入复杂关联结构建模的表达能力。最为重要的是，实现了用张量网络（Tensor Network）构建深度 ConvAC 的方法。这种描述使我们能够对卷积网络进行图论分析，借此我们展示了通过其通道数（与底层图的最小割相关）对深度网络的归纳偏置进行直接控制。这一结果对于任何为特定任务设计网络的实践者都具有重要意义。我们从理论上分析了 ConvAC，并在涉及 ReLU 激活和最大池化的更常见 ConvNets 上对我们的发现进行了经验验证。除上述结果外，用明确定义的图论工具描述深度卷积网络以及与量子纠缠的正式联系，是这项工作带来的两座跨学科桥梁。
引用
@article{arxiv.1704.01552,
title = {Deep Learning and Quantum Entanglement: Fundamental Connections with Implications to Network Design},
author = {Yoav Levine and David Yakira and Nadav Cohen and Amnon Shashua},
journal= {arXiv preprint arXiv:1704.01552},
year = {2017}
}