LayerMerge：通过层修剪与合并实现神经网络深度压缩

最近的研究表明，减少卷积神经网络的层数可以在保持网络性能的前提下提高效率。现有的深度压缩方法通过去除冗余的非线性激活函数并合并连续的卷积层以单层代替，但这些方法存在一个关键缺陷，即合并后层的卷积核尺寸变大，显著削弱了通过减少网络深度获得的延迟降低。我们表明，这一问题可以通过联合修剪卷积层和激活函数来解决。为此，我们提出了 LayerMerge，一种新的深度压缩方法，通过选择性地移除激活层和卷积层，以实现所需的推理加速并最小化性能损失。由于相应的选择问题涉及指数级的搜索空间，我们提出了新的代理优化问题，并通过动态规划高效求解。实验结果表明，我们的方法在各种网络架构上 consistently优于现有的深度压缩和层修剪方法，适用于图像分类和生成任务。我们在 https://github.com/snu-mllab/LayerMerge 上发布了代码。