带随机权重和已学习偏置的神经网络的表达性

具有经过训练的权重和偏置的神经网络的标志性通用函数逼近结果为神经网络作为神经科学和人工智能（AI）中学习模型的普遍用途提供了动力。最近的工作将这些结果推广到其中一小部分权重（例如输出权重）经过调谈，其他参数保持随机的网络中。然而，仍是一个开放问题：仅学习偏置时，通用逼近是否成立，尽管神经科学和 AI 的证据表明偏置显著影响神经响应。本文回答了这个问题。我们提供了理论和数值证据，表明具有固定随机权重的前馈神经网络可以逼近紧凑集合上任意连续函数。我们进一步展示了对离散动力学系统进行近似的循环神经网络的类似结果。我们的发现对于神经科学具有重要意义，在那里它们表明了在不修改突触权重的情况下，行为相关的动态变化的潜力；对于 AI 来说，它们为大型语言模型的微调方法（如偏置和前缀方法）提供了洞见。