学生如何成为教师：通过谱方法进行学习与遗忘

在理论机器学习中，师生范式常被用作现实教学的生动隐喻。当学生网络相比教师网络过参数化时，上述方案尤为相关。在此操作条件下，很容易推测学生处理给定任务的能力最终可存储于整个网络的一个子部分中。该子部分在合适度量下应某种程度上让人联想到冻结的教师结构，且在不同学生候选网络架构间近似不变。遗憾的是，由于所考察问题固有的非凸性，最先进的常规学习技术无法帮助识别这种不变子网络的存在。本工作中，我们提出一种基于层间信息线性传递的谱表示的截然不同优化方案，从而取得进展。梯度的计算针对特征值和特征向量进行，与标准训练算法相比在计算和复杂度负载上仅可忽略的增加。在此框架下，我们分离出一个稳定的学生子结构，其在计算神经元、路径分布和拓扑属性方面映射了教师的真实复杂度。当依据反映优化特征值的排序剪枝训练后学生的不重要节点时，在对应于有效教师规模的阈值之上未见记录性能退化。该观测行为可描绘为具有普适性特征的真正二阶相变。