概念漂移下的监督学习：一种建模框架

我们提出一种用于研究非平稳环境中监督学习的建模框架。具体而言，我们建模了两类示例学习系统：用于分类的基于原型的Learning Vector Quantization (LVQ)以及用于回归任务的浅层分层神经网络。我们研究所谓的师生场景，其中系统从高维带标签数据流中进行训练。由于漂移过程，目标任务的属性在训练期间被视为非平稳的。我们研究了不同类型的概念漂移，这些漂移仅影响示例输入的密度、仅影响目标规则，或同时影响两者。通过应用统计物理方法，我们开发了一个用于对非平稳环境中训练动态进行数学分析的建模框架。我们的结果表明，标准LVQ算法在某种程度上已适用于非平稳环境中的训练。然而，在所考虑的漂移过程下，将权重衰减作为显式遗忘机制应用并不能改善性能。此外，我们研究了具有sigmoidal激活函数的分层神经网络的基于梯度的训练，并与使用修正线性单元(ReLU)进行比较。我们的发现表明，对概念漂移的敏感性和权重衰减的有效性在这两类激活函数之间存在显著差异。