无限宽神经网络如何受益于多任务学习——一个精确的宏观刻画
机器学习
2022-10-21 v4 机器学习
摘要
在实践中，多任务学习（通过学习任务间共享的特征）是深度神经网络（NNs）的一项本质属性。尽管 NNs 的无限宽极限能为其泛化行为提供良好直觉，但文献中著名的 NNs 无限宽极限（例如神经正切核）假定了特定设置，其中宽 ReLU-NN 表现为具有固定核的浅层高斯过程。因此，在此类设置下，这些 NNs 在无限宽极限中丧失了从多任务学习获益的能力。相反，我们证明，使用对参数的 L2 正则化优化至少含一个隐藏层的宽 ReLU 神经网络，由于表示学习，促进了多任务学习——即便在网络宽度趋于无穷的极限 regime 中亦是如此。我们在适当的函数空间中给出了该无限宽极限的精确定量刻画，其清晰地描述了多任务学习。
引用
@article{arxiv.2112.15577,
title = {How Infinitely Wide Neural Networks Can Benefit from Multi-task Learning -- an Exact Macroscopic Characterization},
author = {Jakob Heiss and Josef Teichmann and Hanna Wutte},
journal= {arXiv preprint arXiv:2112.15577},
year = {2022}
}
备注
13 pages + appendix