IF2Net：用于持续学习的先天免遗忘网络
机器学习
2023-06-21 v1 计算机视觉与模式识别
摘要
持续学习能够逐步吸收新概念而不干扰先前学到的知识。受神经网络特征的启发——其中信息存储于连接上的权重中——我们研究了如何为持续学习场景设计一种先天免遗忘网络（IF2Net）。本研究提出了一种简洁而有效的学习范式，通过巧妙地在学习和新任务前后保持与每个已见任务相关的权重不变。我们首先提出了基于随机权重的任务序列表示级学习。该技术是指将随机化引起的漂移表示调整回各自任务最优工作状态，但所涉及的权重被冻结并复用（与众所周知的逐层权重更新相反）。然后，通过将输出权重更新投影到稀疏正交空间中，可实现无遗忘的序列决策，使适应不干扰旧知识同时保持模型可塑性。IF2Net通过结合随机化与正交化的各自优势，使单一网络能够先天学习无限映射规则，且在测试时无需告知任务身份。我们在广泛的理论分析与实证研究中验证了方法的有效性。
引用
@article{arxiv.2306.10480,
title = {IF2Net: Innately Forgetting-Free Networks for Continual Learning},
author = {Depeng Li and Tianqi Wang and Bingrong Xu and Kenji Kawaguchi and Zhigang Zeng and Ponnuthurai Nagaratnam Suganthan},
journal= {arXiv preprint arXiv:2306.10480},
year = {2023}
}
备注
16 pages, 8 figures. Under review