UER：一种用于在线持续学习的启发式偏差处理方法

在线持续学习旨在以单次数据遍历从连续数据流中持续训练神经网络。作为最有效的方法，基于回放的方法会重放部分先前数据。现有方法中常用的预测器倾向于生成偏向当前数据类别的点积对数（logits），这被称为偏差问题和遗忘现象。已有许多方法通过纠正偏差来克服遗忘问题；然而它们在在线方式上仍有待改进。本文中，我们试图以更直接高效的方法解决偏差问题。通过将点积对数分解为角度因子和范数因子，我们经验性地发现偏差问题主要出现在角度因子中，其可作为余弦对数学习新知识。相反，被现有方法弃用的范数因子有助于记忆历史知识。基于该观察，我们直观地提出利用范数因子来平衡新旧知识以解决偏差。为此，我们开发了称为无偏经验回放（UER）的启发式方法。UER 仅通过角度因子学习当前样本，并通过范数因子和角度因子共同重放先前样本。在三个数据集上的大量实验表明，UER 相对于各种最先进方法取得了优越性能。代码见 https://github.com/FelixHuiweiLin/UER。