网络为何具有抑制性/负连接？
机器学习
2023-08-21 v8 人工智能
神经与进化计算
摘要
大脑为何具有抑制性连接？深度网络为何具有负权重？我们从表示容量的角度给出一个答案。我们认为表示函数是以下两者的首要角色：(i) 自然智能中的大脑，以及 (ii) 人工智能中的深度网络。我们对为何存在抑制性/负权重的回答是：为了学习更多函数。我们证明，在没有负权重的情况下，具有非递减激活函数的神经网络不是通用逼近器。尽管对某些人而言这或许是直观结果，但据我们所知，无论是在机器学习还是神经科学中，都尚无形式化理论证明负权重在表示容量语境下为何至关重要。进一步，我们就非负深度网络无法表示的表示空间的几何性质提供见解。我们期望这些见解能深化对施加于权重分布上更精细归纳先验的理解，从而导向更高效的生物与机器学习。
引用
@article{arxiv.2208.03211,
title = {Why do networks have inhibitory/negative connections?},
author = {Qingyang Wang and Michael A. Powell and Ali Geisa and Eric Bridgeford and Carey E. Priebe and Joshua T. Vogelstein},
journal= {arXiv preprint arXiv:2208.03211},
year = {2023}
}
备注
ICCV2023 camera-ready