与布尔函数在神经网络中实现相关的复杂度度量
无序系统与神经网络
2007-05-23 v1 神经元与认知
摘要
我们定义了一种与布尔函数在神经网络中实现相关的复杂度度量，特别地，该度量与通过学习过程所能获得的泛化能力密切相关。该度量通过计算输出值不同的相邻样本的数量来求得。先前已有研究表明，这些样本对是前馈神经网络实现完美泛化所需的最小规模训练集的一部分。与现有度量相比，所提度量的主要优势在于其评估方式，因为它可以直接从函数定义本身计算得出，而独立于其实现方式。通过对不同前馈神经网络架构进行数值模拟，分析了该提议的有效性，并且对于不同类别的函数，预测复杂度与泛化能力之间获得了良好的一致性。此外，还发现所提复杂度度量与铁磁系统的能量函数之间存在有趣的类比关系；这可以利用统计力学框架内现有的结果和数学工具，以更严谨的方式探索布尔函数在神经网络中实现时的性质。我们推测，所提度量可以作为开展神经网络计算能力系统研究的有效工具，其根本在于它允许对布尔函数进行简便且可靠的分类。文中还讨论了该工作可能的扩展方向。
引用
@article{arxiv.cond-mat/0111169,
title = {A measure for the complexity of Boolean functions related to their implementation in neural networks},
author = {Leonardo Franco},
journal= {arXiv preprint arXiv:cond-mat/0111169},
year = {2007}
}
备注
submitted on Nov. 9. 2001