基于Cramér-Rao正则化的密度迁移下高效增量学习

数据量和速度的持续增长通常通过数据编排和分布式处理方法来应对，这些方法在算法层面抽象掉了存在的机器学习挑战。随着自动化学习循环日益受到关注，随着数据按序列到达而非传统内存训练数据形式进行训练，将面临由于训练数据批次中特征分布演变导致的交叉验证步骤偏差的问题。本工作从分布式密度估计角度切入，其中数据按时间分布。它以批处理方式处理数据，允许神经网络将一个批次视为训练数据。该方法通过后验概率吸收累积对数据密度的了解，利用 Fisher 信息矩阵，该矩阵包含有关该批次局部优化梯度的信息。随后将其用作后续批次中损失的正则化器，因此对整个数据集的密度估计将对非独立同分布分布迁移更具鲁棒性。这需要同时存在一对批次，所以空间成本不随完整分布数据集的大小而增长。我们提出了一种新型正则化方法Covariate Shift Correction $C^{2}A$，利用Fisher信息和KL散度来适应由数据集碎片化引起的自然和顺序协变量漂移。$C^{2}A$在最坏情况下以19%的精度优于当前最先进方法。