面向持续学习的知识捕获与重放
机器学习
2021-04-30 v2 人工智能
计算机视觉与模式识别
摘要
深度神经网络在多个领域展现出前景，且所学习的数据（任务）特定信息被隐式存储于网络参数中。当未来数据不再可用时，尤其在持续学习场景下，提取并利用已编码的知识表示至关重要。本工作中，我们引入{\em flashcards}（闪卡），其为将网络编码知识作为预定义随机图像模式的递归函数进行{\em 捕获}的视觉表示。在持续学习场景中，flashcards 有助于防止灾难性遗忘并巩固所有先前任务的知识。flashcards 仅需在学后续任务前构建，因而与之前训练的任务数量无关。我们展示了 flashcards 在捕获已学知识表示（作为原始数据集的替代）方面的效力，并使用多个异构基准数据集在多种持续学习任务上进行了实证验证：重建、去噪、任务增量学习与新实例学习分类。实验证据表明：(i) flashcards 作为一种重放策略是{\em 任务不可知的}，(ii) 优于生成式重放，且 (iii) 在与情景式重放相当的同时无额外内存开销。
引用
@article{arxiv.2012.06789,
title = {Knowledge Capture and Replay for Continual Learning},
author = {Saisubramaniam Gopalakrishnan and Pranshu Ranjan Singh and Haytham Fayek and Savitha Ramasamy and Arulmurugan Ambikapathi},
journal= {arXiv preprint arXiv:2012.06789},
year = {2021}
}