PackNet：通过迭代剪枝向单一网络添加多任务
计算机视觉与模式识别
2018-05-15 v2
摘要
本文提出一种向单个深度神经网络添加多个任务同时避免灾难性遗忘的方法。受网络剪枝技术启发，我们利用大型深度网络中的冗余来释放参数，这些参数随后可用于学习新任务。通过执行迭代剪枝与网络重训练，我们能够顺序地将多个任务“打包”进单个网络，同时确保性能下降与存储开销最小。不同于先前工作使用代理损失来维持旧任务精度，我们始终针对手头任务进行优化。我们在多种网络架构和大规模数据集上进行了广泛实验，观察到比先前工作对灾难性遗忘好得多的鲁棒性。特别地，我们能够将三个细粒度分类任务添加到一个经 ImageNet 训练的 VGG-16 单个网络中，并取得接近每个任务分别训练网络的精度。代码见 https://github.com/arunmallya/packnet
引用
@article{arxiv.1711.05769,
title = {PackNet: Adding Multiple Tasks to a Single Network by Iterative Pruning},
author = {Arun Mallya and Svetlana Lazebnik},
journal= {arXiv preprint arXiv:1711.05769},
year = {2018}
}