集成教师在线学习的统计力学

我们分析了由线性感知器组成的模型中学生模型的泛化性能：一个真实教师、集成教师和学生。使用统计力学在在线学习框架下解析计算学生的泛化误差，证明了当学习率$\eta <1$时，集成教师的数量$K$和多样性越大，泛化误差越小。另一方面，当$\eta >1$时，性质完全相反。如果集成教师的多样性足够丰富，在$\eta \to 0$和$K \to \infty$的极限下，真实教师与学生之间的方向余弦趋于1。