Self-Net：通过持续自建模实现终身学习
机器学习
2019-07-15 v3 人工智能
机器学习
摘要
随时间学习一组任务，也称为持续学习（CL），是人工智能中最具挑战性的问题之一。虽然近期的方法在深度神经网络中实现了某种程度的 CL，但它们要么（1）随任务数量线性增长网络参数，（2）需要存储来自先前任务的训练数据，要么（3）限制网络学习新任务的能力。为解决这些问题，我们提出了一种新颖的框架 Self-Net，它使用自编码器来学习针对不同任务所学权重的一组低维表示。我们证明了这些低维向量随后可用于生成原始权重的高保真回忆。Self-Net 可以随时间纳入新任务，只需少量重训练且旧任务性能损失极小。我们的系统不需要存储先前的训练数据，且其参数仅随任务数量对数增长。我们表明，我们的技术在众多数据集（包括 MNIST、CIFAR10、CIFAR100 和 Atari 的持续版本）上优于当前最先进的方法，并且我们展示了我们的方法能以持续方式实现超过 10 倍的存储压缩。据我们所知，我们是首个使用自编码器顺序编码网络权重集合以实现持续学习的。
引用
@article{arxiv.1805.10354,
title = {Self-Net: Lifelong Learning via Continual Self-Modeling},
author = {Blake Camp and Jaya Krishna Mandivarapu and Rolando Estrada},
journal= {arXiv preprint arXiv:1805.10354},
year = {2019}
}