超越多层感知机：探究神经网络中的复杂拓扑结构
神经与进化计算
2023-10-24 v2 无序系统与神经网络
机器学习
摘要
在本研究中，我们探讨网络拓扑结构对人工神经网络（ANNs）逼近能力的影响，特别关注复杂拓扑。我们提出一种基于多种拓扑（包括 Barabási-Albert、Erdős-Rényi、Watts-Strogatz 和多层感知机（MLPs））构建复杂 ANNs 的新方法。所构建的网络在由流形学习生成器生成的合成数据集（具有不同任务难度与噪声水平）以及来自 UCI 套件的真实数据集上进行评估。我们的发现表明，在高难度情形下，复杂拓扑相比传统 MLPs 带来更优性能。这一性能优势归因于复杂网络利用底层目标函数组合性的能力。然而，该益处以前向传播计算时间增加和对图损伤鲁棒性降低为代价。此外，我们考察了各种拓扑属性与模型性能之间的关系。我们的分析显示，没有任何单一属性能够解释所观察到的性能差异，这表明网络拓扑对逼近能力的影响可能比与个别拓扑属性的简单关联更为错综复杂。我们的研究揭示了复杂拓扑在提升 ANNs 性能方面的潜力，并为未来探索多种拓扑属性及其对模型性能影响的相互作用的研究奠定了基础。
引用
@article{arxiv.2303.17925,
title = {Beyond Multilayer Perceptrons: Investigating Complex Topologies in Neural Networks},
author = {Tommaso Boccato and Matteo Ferrante and Andrea Duggento and Nicola Toschi},
journal= {arXiv preprint arXiv:2303.17925},
year = {2023}
}