基于渐进分段训练（PST）的单网络持续学习
机器学习
2019-12-23 v4 机器学习
摘要
在动态系统中，如自动驾驶车辆、监视无人机和机器人系统，对持续学习的需求日益增长。此类系统需要从数据流中学习，训练模型以保留先前信息并适应新任务，且生成用于未来推理的单头向量。与先前具有动态结构的方法不同，本工作聚焦于单一网络与模型分割以防止灾难性遗忘。利用单一网络的冗余容量，每个任务的模型参数被分为两组：一组重要参数被冻结以保留当前知识，另一组次要参数被保存（而非剪枝）以供未来学习。进一步采用包含少量已见数据的固定大小记忆来辅助训练。无需额外正则化，PST这一简单而有效的方法成功整合了多个任务，并在CIFAR-10和CIFAR-100数据集的单头评估中达到了最先进的精度。此外，分段训练显著提高了持续学习中的计算效率。
引用
@article{arxiv.1905.11550,
title = {Single-Net Continual Learning with Progressive Segmented Training (PST)},
author = {Xiaocong Du and Gouranga Charan and Frank Liu and Yu Cao},
journal= {arXiv preprint arXiv:1905.11550},
year = {2019}
}