持续学习中权重共享决策对知识迁移影响的探究
机器学习
2023-12-20 v3
摘要
持续学习（Continual Learning, CL）因能避免神经网络顺序训练中的灾难性遗忘（Catastrophic Forgetting, CF）、提升网络效率及对多任务的适应能力而受到关注。此外，CL是研究网络行为及任务间前向知识迁移（Forward Knowledge Transfer, FKT）的理想场景。CL的剪枝方法训练子网络以处理顺序任务，使我们能以结构化方式探究FKT。共享先前子网络的权重通过FKT为当前任务利用过往知识。理解共享哪些权重十分重要，因为共享全部权重可能导致次优精度。本文研究不同的共享决策如何影响任务间的FKT。借此视角，我们展示了任务复杂度与相似性如何影响最优权重共享决策，从而揭示任务间关系并为类似CL方法中的决策提供参考。我们构建了三个顺序数据集以凸显任务复杂度与相似性的差异，并在ResNet-18与VGG-16上报告结果。依据我们发现所支持的决策进行共享，相较其他共享决策可提升任务精度。
引用
@article{arxiv.2311.09506,
title = {Investigating the Impact of Weight Sharing Decisions on Knowledge Transfer in Continual Learning},
author = {Josh Andle and Ali Payani and Salimeh Yasaei-Sekeh},
journal= {arXiv preprint arXiv:2311.09506},
year = {2023}
}
备注
5 Figures, 4 Tables, 2 Algorithms