深度随机特征学习的确定性等价与误差普适性
机器学习
2023-02-02 v1 机器学习
摘要
本稿件考虑使用具有冻结中间层和可训练读出层的全连接网络学习随机高斯网络函数的问题。该问题可视为广泛研究的随机特征模型对更深架构的自然推广。首先，我们在岭回归设定下证明了测试误差的高斯普适性，其中学习器与目标网络共享相同的中间层，并给出了其锐利的渐近公式。确立该结果需要证明深度随机特征样本协方差矩阵迹的确定性等价，这本身可能具有独立意义。其次，我们猜想在任意凸损失和通用学习器/目标架构更一般设定下测试误差的渐近高斯普适性。我们为该猜想提供了广泛的数值证据，这需要推导逐层激活后总体协方差的闭式表达式。鉴于我们的结果，我们探究了架构设计与隐式正则化之间的相互作用。
引用
@article{arxiv.2302.00401,
title = {Deterministic equivalent and error universality of deep random features learning},
author = {Dominik Schröder and Hugo Cui and Daniil Dmitriev and Bruno Loureiro},
journal= {arXiv preprint arXiv:2302.00401},
year = {2023}
}