KSM：基于核级软掩码学习的快速多任务适配
计算机视觉与模式识别
2020-09-15 v1 人工智能
机器学习
摘要
深度神经网络（DNN）在学习新任务时可能遗忘关于早期任务的知识，这被称为灾难性遗忘（catastrophic forgetting）。尽管近期的持续学习方法能够缓解在玩具规模数据集上的灾难性问题，但在将其应用于实际问题时仍有一些问题尚待解决。近来，基于快速掩码的学习方法（如piggyback \cite{mallya2018piggyback}）通过以快速方式仅学习二元逐元素掩码，同时保持骨干模型固定，来解决这些问题。然而，二元掩码对新任务的建模能力有限。更近的工作\cite{hung2019compacting}提出一种压缩-增长方法（CPG），通过部分训练骨干模型为新任务取得更好精度，但训练代价高出数量级，使其难以部署于流行的前沿边缘/移动学习。本工作的主要目标是在持续学习设定下同时实现快速且高精度的多任务适配。受此驱动，我们提出一种称为核级软掩码（KSM）的新训练方法，其为每个任务学习核级混合二元与实值软掩码，同时使用同一骨干模型。此类软掩码可视为二元掩码与适当缩放的实值张量的叠加，在不要求底层核支持的情况下提供更丰富的表示能力，以满足低硬件开销目标。我们在多个基准数据集上对照近期最先进方法（如Piggyback、Packnet、CPG等）验证KSM，其在精度与训练代价上均显示出良好改进。
引用
@article{arxiv.2009.05668,
title = {KSM: Fast Multiple Task Adaption via Kernel-wise Soft Mask Learning},
author = {Li Yang and Zhezhi He and Junshan Zhang and Deliang Fan},
journal= {arXiv preprint arXiv:2009.05668},
year = {2020}
}