基于贝叶斯超网络的快速条件网络压缩

我们引入一个条件压缩问题并提出了一种快速解决框架。该问题是如何在给定目标上下文（例如仅涉及类别子集的上下文，或仅有限计算资源可用的上下文）下，将预训练的大神经网络快速压缩为最优的更小网络。为此，我们提出一种高效的贝叶斯框架，将给定大型网络压缩为契合各上下文需求的更小尺寸。我们采用超网络来参数化给定条件输入下权重的后验分布，并最小化该贝叶斯神经网络的变分目标。为进一步缩减网络尺寸，我们提出一种新的输入输出分组稀疏权重分解，以促使生成权重更具稀疏性。我们的方法能快速生成比基线方法尺寸显著更小的压缩网络。