当移动教师围绕不可学习的真实教师时在线学习的统计力学

在在线学习的框架中，由于教师和学习机器在结构或输出函数上的差异，学习机器可能会围绕教师移动。在本文中，我们分析了由移动机器监督的新学生的泛化性能。使用统计力学从理论上处理了一个由固定真实教师、移动教师和学生组成的模型，其中真实教师是非单调感知器，其他是简单感知器。通过数值计算泛化误差，我们表明，即使学生只使用来自移动教师的示例，学生的泛化误差也可能暂时小于移动教师的泛化误差。然而，学生的泛化误差最终会与移动教师的泛化误差达到相同的值。这种行为与线性模型的行为有质的区别。