人工神经网络结构——实证研究

在十年之内，深度学习取代了人工智能问题中占主导地位的众多解决方法。所谓‘深度’，指的是包含在没有即时观察的流形上操作的深层架构。对于这些深层架构，某种结构是预先定义的——但这种结构究竟是什么？本文提出了神经网络结构的形式化定义，可用于在统一框架下形式化神经网络架构搜索问题和求解方法。从而引出实践与理论问题：应用神经网络架构搜索与学习理论之间存在的差距。结构是否产生影响，或者可以任意选择？本文关注人工神经网络的深层结构，考察了基于经验原则的自动构建方法，以阐明所谓‘黑箱模型’的结构。我们的贡献包括一种用于提出神经网络优化问题的图诱神经网络（graph-induced neural networks）的表述。我们分析了针对不同神经网络目标（如正确性、鲁棒性或能耗）的结构属性，并讨论了结构如何影响这些目标。讨论了所选神经网络架构优化问题的自动化方法并进行经验分析。通过对图诱神经网络的形式化、结构属性分析以及对神经网络架构搜索方法的定性和定量比较，我们以两个方面推进了这些方法：首先，提出了用于取代计算昂贵评估方案的新型预测模型；其次，分析并讨论了用于神经网络架构搜索中信息化抽样的新型生成模型。