面向高效多任务推理的剪枝感知合并
机器学习
2021-06-01 v2 神经与进化计算
摘要
许多移动应用需要在资源受限平台上选择性地执行多个相关的深度学习推理任务。给定一组深度神经网络，每个网络针对单一任务预训练，期望执行任意任务组合时产生最小计算代价。由于任务相关性，单独剪枝每个网络会产生次优计算代价。一个有前景的补救方法是在网络剪枝前将网络合并为多任务网络以消除跨任务冗余。然而，现有网络合并方案组合出的多任务网络在剪枝时无法最小化每种任务组合的计算代价，因为它们未考虑此类未来剪枝。为此，我们从理论上确定了使多任务网络剪枝能最小化所有任务组合计算量的条件。在此基础上，我们提出剪枝感知合并（PAM），一种启发式网络合并方案，用于构建逼近这些条件多任务网络。合并后的网络随后可由现有网络剪枝方法进一步剪枝。采用不同剪枝方案、数据集和网络架构的评估表明，与无网络合并的基线相比，PAM 最多减少 4.87 倍计算量；与采用最先进网络合并方案的基线相比，最多减少 2.01 倍计算量。
引用
@article{arxiv.1905.09676,
title = {Pruning-Aware Merging for Efficient Multitask Inference},
author = {Xiaoxi He and Dawei Gao and Zimu Zhou and Yongxin Tong and Lothar Thiele},
journal= {arXiv preprint arXiv:1905.09676},
year = {2021}
}
备注
Accepted to KDD'21 as research track paper