通过元学习优化持续学习中的可复用知识
机器学习
2021-12-02 v3 计算机视觉与模式识别
摘要
当随时间学习任务时，人工神经网络会遭受称为灾难性遗忘（CF）的问题。这发生在网络权重于新任务训练中被覆盖从而导致旧信息遗忘时。为解决此问题，我们提出 MetA 可复用知识（MARK），一种在新任务学习时促进权重复用而非覆盖的新方法。具体而言，MARK 在任务间保留一组共享权重。我们将这些共享权重视为一个通用知识库（KB），其不仅用于学习新任务，还随模型学习新任务而用新知识充实。MARK 背后的关键组件有两个。一方面，元学习方法提供了逐步以新知识充实 KB 并促进任务间权重复用的关键机制。另一方面，一组可训练掩码提供了从 KB 中选择性选取相关权重以解决各任务的关键机制。通过使用 MARK，我们在多个流行基准上取得最先进结果，在 20-Split-MiniImageNet 数据集上以超过 10% 的平均准确率超越最佳性能方法，同时以 55% 的参数数量实现近乎零遗忘。此外，消融研究证明，MARK 确实在学习被各任务选择性使用的可复用知识。
引用
@article{arxiv.2106.05390,
title = {Optimizing Reusable Knowledge for Continual Learning via Metalearning},
author = {Julio Hurtado and Alain Raymond-Saez and Alvaro Soto},
journal= {arXiv preprint arXiv:2106.05390},
year = {2021}
}