可证明且高效的持续表示学习
机器学习
2022-11-08 v2
摘要
在持续学习（CL）中，目标是设计能够按顺序学习多个任务而不发生灾难性遗忘的模型。尽管已有丰富的CL技术，但对于先前任务构建的表示如何有益于网络中新增任务的理解仍相对有限。为此，我们研究持续表示学习（CRL）问题，即在新任务到来时学习不断演化的表示。聚焦于将任务嵌入子网络（如PackNet）的零遗忘方法，我们首先通过实验证明CRL在学习新任务时能显著提升样本效率。为解释这一现象，我们通过对先前所学表示的统计收益进行形式化，为新任务提供样本复杂度和泛化误差界，从而建立CRL的理论保证。我们的分析与实验还凸显了学习任务顺序的重要性。具体而言，我们表明若初始任务具有大样本量和高“表示多样性”，则CL受益。多样性确保新增任务时表示失配小，可用少量样本且仅训练少量额外非零权重即可学习。最后，我们探讨是否能在保持表示学习收益的同时，确保各任务子网络在推理时高效。为此，我们提出一种推理高效的PackNet变体，称为高效稀疏PackNet（ESPN），其采用通道与权重联合剪枝。ESPN将任务嵌入通道稀疏子网络，计算所需FLOPs减少高达80%，同时精度近似保持，并与多种基线极具竞争力。总之，本工作从表示学习视角向数据与计算高效的CL迈进了一步。GitHub页面：https://github.com/ucr-optml/CtRL
引用
@article{arxiv.2203.02026,
title = {Provable and Efficient Continual Representation Learning},
author = {Yingcong Li and Mingchen Li and M. Salman Asif and Samet Oymak},
journal= {arXiv preprint arXiv:2203.02026},
year = {2022}
}