HPCR：面向在线持续学习的整体基于原型对比重放

在线持续学习旨在开发一个神经网络，通过对在线数据流单次遍历持续学习新数据，通常遭受灾难性遗忘。现有的基于重放的方法通过以基于原型或基于对比的重放方式重放部分旧数据来缓解遗忘，每种方式各有缺陷。我们之前的工作提出了一种称为基于原型对比重放（PCR）的新型重放方法，它通过实现两种重放方式的互补优势来处理这些缺陷。在本工作中，我们进一步对PCR进行梯度和局限性分析。分析结果表明，PCR在模型的特征提取、泛化和抗遗忘能力方面仍可进一步改进。因此，我们开发了名为整体基于原型对比重放（HPCR）的更先进方法。HPCR由三个组件构成，每个组件解决PCR的一个局限性。对比组件有条件地将锚点到样本对纳入PCR，提升特征提取能力。第二个是温度组件，基于梯度影响将温度系数解耦为两部分并为其设置不同值以增强泛化能力。第三个是蒸馏组件，用额外的损失项约束学习过程以提高抗遗忘能力。在四个数据集上的实验一致证明了HPCR相对于各种最先进方法的优越性。