TriRE：一种用于持续知识保持与促进的多机制学习范式
人工智能
2023-10-13 v1 计算机视觉与模式识别
机器学习
摘要
持续学习（CL）因对先前学习任务灾难性遗忘（CF）而一直是深度神经网络的持久挑战。已提出若干技术如权重正则化、经验回放与参数隔离来缓解 CF。尽管取得了相对成功，这些研究方向主要保持正交且存在若干缺陷，同时错失了竞争策略的优势。相反，大脑通过同时利用若干神经生理过程（包括神经发生、主动遗忘、神经调制、元可塑性、经验回放与上下文相关门控）持续地学习、容纳并跨任务迁移知识，极少导致 CF。受大脑并发利用多种机制的启发，我们提出 TriRE，一种新颖的 CL 范式，其涵盖为每任务保留最显著神经元、修订并巩固当前与过去任务的提取知识，以及通过回绕与再学习主动促进后续任务的较不活跃神经元。在各类 CL 设定下，TriRE 显著减少了任务干扰并超越了孤立考虑的不同 CL 方法。
引用
@article{arxiv.2310.08217,
title = {TriRE: A Multi-Mechanism Learning Paradigm for Continual Knowledge Retention and Promotion},
author = {Preetha Vijayan and Prashant Bhat and Elahe Arani and Bahram Zonooz},
journal= {arXiv preprint arXiv:2310.08217},
year = {2023}
}
备注
Accepted at 37th Conference on Neural Information Processing Systems (NeurIPS 2023)