面向可持续持续学习：相似任务的检测与知识重用
计算机视觉与模式识别
2022-10-13 v1 机器学习
摘要
大多数现有的持续学习（CL）工作聚焦于克服灾难性遗忘（CF）问题，其中动态模型与回放方法表现尤为出色。然而，由于当前工作往往假设学习任务之间互斥或不相似，这些方法需要为每个任务在内存中不断累积任务特定知识。若考虑从长序列任务中学习，这将最终导致知识库的不可承受式扩张。在本工作中，我们引入一种范式，其中持续学习器接收到混合了相似与不相似任务的序列。我们提出了一种新型持续学习框架，其使用无需额外学习的任务相似度检测函数，借此分析过去是否存在与当前任务相似的具体任务。我们随后可重用先前任务知识以减缓参数扩张，确保 CL 系统的知识库相对于已学习任务数量呈亚线性扩张。我们的实验表明，所提框架在 CIFAR10、CIFAR100 和 EMNIST 等广泛使用的计算机视觉基准上表现具有竞争力。
引用
@article{arxiv.2210.05751,
title = {Toward Sustainable Continual Learning: Detection and Knowledge Repurposing of Similar Tasks},
author = {Sijia Wang and Yoojin Choi and Junya Chen and Mostafa El-Khamy and Ricardo Henao},
journal= {arXiv preprint arXiv:2210.05751},
year = {2022}
}