用于改进持续训练的权重叠加方法
机器学习
2020-01-10 v1 神经与进化计算
机器学习
摘要
训练神经网络模型可能是一个终身的学习过程，并且是计算密集型的。深度神经网络模型可能出现的一种严重不利效应是，它们在针对新数据重新训练时会遭受灾难性遗忘。为了避免这种连续学习中的中断，集成模型的加性特性是一种引人注目的性质。在本文中，我们提出两种通用的集成方法——梯度提升和元学习，以解决微调预训练神经网络模型中的灾难性遗忘问题。
引用
@article{arxiv.2001.01829,
title = {Frosting Weights for Better Continual Training},
author = {Xiaofeng Zhu and Feng Liu and Goce Trajcevski and Dingding Wang},
journal= {arXiv preprint arXiv:2001.01829},
year = {2020}
}