哪条扩展定律适用于人工神经网络

经验表明，由分立的单处理器组成的协作与通信计算系统存在严重的性能局限。冯·诺依曼在其经典的《第一草案》中警告称，使用“过快处理器”会破坏其简单的“流程”（但并未破坏其计算模型！）；此外，用经典计算范式来模仿神经元操作是不合理的。Amdahl 补充道，由许多处理器组成的大型机器具有固有的劣势。鉴于人工神经网络（ANN）的组件彼此间大量通信，它们由大量为常规计算设计并制造出来的组件构建而成，且试图以不当的技术手段模仿生物操作，其可实现的有效计算性能在概念上是有限的。基于 AI 的系统所产生的工作负载类型导致极低的有效计算性能，且其设计/技术将其规模限制在仅略高于“玩具”级系统：基于处理器的 ANN 系统的扩展是强非线性的。鉴于 ANN 系统的激增与规模增长，我们提出若干思路以预先估算设备或应用的效率。通过分析已发表的测量数据，我们提供证据表明数据传输时间的作用极大地影响了 ANN 的性能与可行性。文中讨论了若干主要理论限制因素、ANN 的层结构及其通信的技术实现方式如何影响其效率。本文从冯·诺依曼原始模型出发，不忽略传输时间而仅考虑处理时间；推导出对 Amdahl 定律的恰当解释与处理。研究表明，在该解释下，Amdahl 定律正确地描述了 ANN。