软委员会机过可实现在线学习动力学中的软模
无序系统与神经网络
2022-06-01 v1 机器学习
摘要
由随机梯度下降训练的过参数化深度神经网络在许多实际相关任务中表现成功。过参数化的一个方面是学生网络可能比数据生成过程具有更大的表达能力。在师生场景中，这对应于所谓的过可实现情形，即学生网络比教师具有更多的隐藏单元。对于过可实现情形下两层软委员会机的在线学习，我们发现达到完美学习的逼近以幂律方式而非像可实现情形下那样以指数方式发生。如果师生输出经过适当重标度，所有学生节点学习并复制其中一个教师节点。
引用
@article{arxiv.2104.14546,
title = {Soft Mode in the Dynamics of Over-realizable On-line Learning for Soft Committee Machines},
author = {Frederieke Richert and Roman Worschech and Bernd Rosenow},
journal= {arXiv preprint arXiv:2104.14546},
year = {2022}
}
备注
5 pages, 5 figures