多输出神经网络的变分空间：关于多任务学习与网络压缩的洞见

本文通过发展向量值变分空间——一类新的再生核巴拿赫空间——提出了一种分析向量值神经网络的新型理论框架。这些空间源于对使用修正线性单元（ReLU）等激活函数训练网络时权重衰减正则化效应的研究。该框架增进了对多输出网络及其函数空间特性的理解。本工作的关键贡献是建立了向量值变分空间的表示定理。该定理表明，浅层向量值神经网络是这些无限维空间上数据拟合问题的解，其中网络宽度以训练数据个数的平方为界。这一观察揭示，与这些向量值变分空间相关的范数鼓励学习对多任务有用的特征，为神经网络多任务学习提供了新见解。最后，本文建立了权重衰减正则化与多任务 lasso 问题之间的联系。该联系导出了深度网络层宽依赖于训练数据表示内在维数的新界。这一洞见不仅深化了对深度网络架构需求的理解，还给出了一种用于深度神经网络压缩的简单凸优化方法。该压缩过程的性能在多种架构上进行了评估。