基于新型感知器学习规则的在线集成教师学习的统计力学

在集成教师学习中，集成教师仅拥有关于真实教师的不确定信息，这些信息由一个包含无限多且种类足够丰富的集成教师组成的集合提供。在此学习中，学生从一个每次随机从众多集成教师池中选出的集成教师处学习。集成教师学习的一个有趣之处在于学生通过向集成教师学习而逼近真实教师的渐近行为。在学习中使用 Hebb 学习规则可以提升学生表现。然而，感知器学习规则无法提升学生表现。另一方面，我们提出了一种带间隔的感知器学习规则。当间隔为零时，该学习规则等同于感知器学习规则；当间隔为无穷大时，等同于 Hebb 学习规则。因此，该规则通过间隔的大小将感知器学习规则与 Hebb 学习规则连续地连接起来。利用这一规则，我们通过考虑若干间隔大小，研究了从感知器学习规则到 Hebb 学习规则的学习行为变化。结果表明，通过设置间隔 κ > 0，集成效应开始显现，且当使用更大的间隔 κ 时，该效应变得显著。