多任务学习对ReLU神经网络函数的影响

本文研究了多任务浅层ReLU神经网络学习问题解的性质，其中网络被训练以最小化权重平方和来拟合数据集。值得注意的是，为每个单独任务学习到的解类似于通过求解核回归问题获得的解，揭示了神经网络与核方法之间的新联系。已知单任务神经网络学习问题等价于非Hilbert Banach空间中的最小范数插值问题，且此类问题的解通常不唯一。相比之下，我们证明了单变量输入多任务神经网络插值问题的解几乎总是唯一的，并且与Sobolev（再生核）Hilbert空间中最小范数插值问题的解一致。我们还在多变量输入情况下展示了类似现象；具体而言，我们证明了具有大量任务数的神经网络学习问题近似等价于由最优神经元确定的固定核上的 $\ell^2$（Hilbert空间）最小化问题。