渐进式神经网络
机器学习
2022-10-25 v4
摘要
学习解决复杂的任务序列——同时利用迁移并避免灾难性遗忘——仍然是实现人类水平智能的关键障碍。渐进式神经网络方法代表了在这一方向上迈出的一步：它们对遗忘免疫，并且可以通过与先前学习特征的横向连接来利用先验知识。我们在多种强化学习任务（Atari 和 3D 迷宫游戏）上广泛评估了该架构，并表明它优于基于预训练和微调的常见基线。使用一种新颖的敏感性度量，我们证明了迁移发生在已学习策略的低级感知层和高级控制层。
引用
@article{arxiv.1606.04671,
title = {Progressive Neural Networks},
author = {Andrei A. Rusu and Neil C. Rabinowitz and Guillaume Desjardins and Hubert Soyer and James Kirkpatrick and Koray Kavukcuoglu and Razvan Pascanu and Raia Hadsell},
journal= {arXiv preprint arXiv:1606.04671},
year = {2022}
}