基于 Cramer-Wold 生成器的持续学习目标层正则化
机器学习
2021-11-16 v1 人工智能
计算机视觉与模式识别
摘要
我们提出了一种用于解决持续学习问题的有效正则化策略（CW-TaLaR）。该策略使用一个惩罚项，其由定义于底层神经网络目标层上的两个概率分布之间的 Cramer-Wold 距离表示，并采用简单的 Cramer-Wold 生成器架构来建模输出数据表示。我们的策略在学习新任务时保持目标层分布，但不需要记忆先前任务的数据集。我们进行了涉及若干常用监督框架的实验，证明了 CW-TaLaR 方法与几种现有最先进（state-of-the-art）持续学习模型相比具有竞争力。
引用
@article{arxiv.2111.07928,
title = {Target Layer Regularization for Continual Learning Using Cramer-Wold Generator},
author = {Marcin Mazur and Łukasz Pustelnik and Szymon Knop and Patryk Pagacz and Przemysław Spurek},
journal= {arXiv preprint arXiv:2111.07928},
year = {2021}
}
备注
The paper is under consideration at Computer Vision and Image Understanding