基于师生模型与通用特征映射对真实数据集的学习曲线研究
机器学习
2022-11-29 v3 无序系统与神经网络
机器学习
概率论
统计理论
统计理论
摘要
师生模型提供了一个框架，其中高维监督学习的典型情形性能可用闭式描述。然而，经典师生模型所基于的高斯独立同分布输入数据假设，可能被认为过于受限而难以刻画真实数据集的行为。本文引入该模型的高斯协变量推广，其中教师与学生可作用于由固定但通用的特征映射生成的不同空间。尽管仍可用闭式求解，该推广能够捕捉广泛真实数据集的学习曲线，从而挽回师生框架的潜力。我们的贡献有两点：首先，我们证明了渐近训练损失与泛化误差的严格公式。其次，我们给出若干情形，其中模型的学习曲线捕捉了用核回归与分类学习的真实数据集的学习曲线，所用特征映射包括开箱即用的随机投影或散射变换，或预学习的特征——例如通过训练多层神经网络学到的特征。我们讨论了该框架的能力与局限。
引用
@article{arxiv.2102.08127,
title = {Learning curves of generic features maps for realistic datasets with a teacher-student model},
author = {Bruno Loureiro and Cédric Gerbelot and Hugo Cui and Sebastian Goldt and Florent Krzakala and Marc Mézard and Lenka Zdeborová},
journal= {arXiv preprint arXiv:2102.08127},
year = {2022}
}
备注
v3: NeurIPS camera-ready