基于特征传播的对比持续学习方法
机器学习
2021-12-06 v1
摘要
经典的机器学习模型仅被设计用于处理单一任务，不具备接纳新出现任务或类的能力，而此种能力在现实世界中更为实用且更具人类特性。为弥补这一不足，持续机器学习模型被精心构建以出色地学习具有不同任务间域偏移与类偏移的任务流。本文提出一种通用的基于特征传播的对比持续学习方法，能够处理多种持续学习场景。具体而言，我们通过特征传播与对比表示学习对齐当前与先前的表示空间，以弥合不同任务间的域偏移。为进一步缓解特征表示的类间偏移，我们利用有监督对比损失使同类样本嵌入比不同类样本嵌入更为接近。广泛的实验结果表明，与一组前沿的持续学习方法相比，所提方法在六个持续学习基准上取得了优异性能。
引用
@article{arxiv.2112.01713,
title = {Contrastive Continual Learning with Feature Propagation},
author = {Xuejun Han and Yuhong Guo},
journal= {arXiv preprint arXiv:2112.01713},
year = {2021}
}