神经网络的容量分配分析：一种原则性架构设计工具

设计神经网络架构是一项介于科学与艺术之间的任务。对于给定的任务，某些架构最终基于直觉、经验、实验与运气的混合而被优先于其他架构。对于许多任务，最终结论由损失函数给出，而对于另一些任务，则需要进一步的感知评估来评估和比较各模型间的性能。在本文中，我们引入容量分配分析的概念，旨在揭示当网络架构用于给定任务时，其将建模容量聚焦于何处。我们尤其关注空间容量分配，它在线性设定下事后分析给定模型为建模输入空间中给定点或区域上的依赖关系所分配的有效参数数量。我们利用该框架在各种合成任务上对若干经典架构进行定量比较。最后，我们考量容量分配在非线性设定下可能如何转化。