基于任务间突触映射的持续学习
机器学习
2021-06-29 v1 人工智能
摘要
从连续任务流中学习会导致模型灾难性地遗忘其从先前阶段吸收的独特经验。虽然 LWF、SI、EWC 等正则化技术已证明是通过约束旧任务的重要参数在接收新概念时不变来克服该问题的有效途径，但这些方法未利用每个任务中可被共享给现有神经元的共性信息。因此，它们无法很好地扩展到大规模问题，因为参数重要性变量会迅速爆炸。本文提出一种任务间突触映射（ISYANA）来支撑持续学习的知识保持。ISYANA 结合了任务到神经元的关系以及概念到概念的关系，从而防止一个神经元接纳不同概念而仅接受相关概念。我们在基准持续学习问题上进行了数值研究，并与著名的持续学习算法进行比较。ISYANA 展现出与最先进方法相竞争的性能。ISYANA 的代码已在 \url{https://github.com/ContinualAL/ISYANAKBS} 公开。
引用
@article{arxiv.2106.13954,
title = {Continual Learning via Inter-Task Synaptic Mapping},
author = {Mao Fubing and Weng Weiwei and Mahardhika Pratama and Edward Yapp Kien Yee},
journal= {arXiv preprint arXiv:2106.13954},
year = {2021}
}
备注
This paper has been published in Knowledge-based Systems