通过逐层神经元共享实现多任务压缩
神经与进化计算
2019-03-14 v2 计算机视觉与模式识别
机器学习
摘要
未来的移动设备有望通过在设备上运行多个相关的深度神经网络来自主感知、理解并对世界做出反应。然而，这些神经网络的复杂性需要在模型内和跨模型两个层面进行缩减，以适应移动存储和内存。以往的研究侧重于压缩单个神经网络内的冗余。在本工作中，我们旨在减少多个模型间的冗余。我们提出了多任务压缩（MTZ），一个自动合并相关的、预训练的深度神经网络以实现跨模型压缩的框架。MTZ的核心是逐层神经元共享和传入权重更新方案，该方案在误差函数中引起最小的变化。MTZ继承每个模型的信息，并需要轻量级的再训练以重新提升各个任务的准确率。评估表明，MTZ能够完全合并两个VGG-16网络的隐藏层，在ImageNet和CelebA上的平均测试误差增加3.18%，或者在两个网络间共享39.61%的参数，而两项任务的测试误差增加均<0.5%。重新训练组合网络所需的迭代次数至少比训练单个VGG-16网络低17.8倍。此外，实验表明MTZ也能有效合并多个残差网络。
引用
@article{arxiv.1805.09791,
title = {Multi-Task Zipping via Layer-wise Neuron Sharing},
author = {Xiaoxi He and Zimu Zhou and Lothar Thiele},
journal= {arXiv preprint arXiv:1805.09791},
year = {2019}
}
备注
Published as a conference paper at NeurIPS 2018