如何利用预测不确定性估计以降低在线持续学习中的灾难性遗忘

许多实际应用需要机器学习模型能够处理非平稳数据分布，因而在持续一段时间后进行自主学习，往往在在线环境中。其中一个主要挑战是所谓的灾难性遗忘（Catastrophic Forgetting, CF），即学习模型倾向于关注最近的任务，而在旧任务上经历预测性能下降。在在线环境中，最有效的解决方案会采用固定大小的记忆缓冲区来存储用于回放的旧样本。已经提出了许多方法来解决这一问题。然而，如何最有效地利用预测不确定性信息进行记忆管理尚不明了，提出的策略相互冲突。究竟是采用最易被遗忘的样本还是最易被记住的样本来对抗 CF 尚存疑问。基于预测不确定性提供了样本在决策空间中位置信息这一直觉，本文对不同的不确定性估计方法及填充记忆的策略进行深入分析。该研究提供了更好的理解，有助于阐明数据点在缓解 CF 方面应具有的特征。随后，我们提出了一种通过负对数似然引起的广义方差来估计预测不确定性的替代方法。最后，我们展示了使用预测不确定性度量有助于在不同设置下降低 CF。