LSEBMCL：用于持续学习的潜在空间能量基模型
机器学习
2025-01-13 v1 人工智能
计算与语言
摘要
持续学习在许多实际应用中变得至关重要，例如在线新闻摘要和产品分类。主要挑战被称为灾难性遗忘，即模型在接受新任务训练时无意中丢弃先前学到的知识。现有解决方案包括存储先前类别的样本、在微调过程中正则化参数，或为每个任务分配不同的模型参数。本文提出的解决方案LSEBMCL（用于持续学习的潜在空间能量基模型）使用能量基模型（EBM）通过在训练新任务时从先前任务中采样数据点来防止灾难性遗忘。EBM是一种机器学习模型，它为每个输入数据点关联一个能量值。所提出的方法在NLP任务的持续学习框架中使用EBM层作为外部生成器。该研究证明了EBM在NLP任务中的有效性，在所有实验中均达到了最先进的结果。
引用
@article{arxiv.2501.05495,
title = {LSEBMCL: A Latent Space Energy-Based Model for Continual Learning},
author = {Xiaodi Li and Dingcheng Li and Rujun Gao and Mahmoud Zamani and Latifur Khan},
journal= {arXiv preprint arXiv:2501.05495},
year = {2025}
}
备注
In the 7th International Conference on Artificial Intelligence in Information and Communication (ICAIIC 2025)