KCP：面向密集标注神经网络的核聚类剪枝
计算机视觉与模式识别
2021-01-19 v1 机器学习
摘要
剪枝已成为一种用于压缩和加速神经网络的有前景的技术。现有方法主要在稀疏标注应用上评估。然而，密集标注应用更贴近现实世界问题，需要在资源受限的移动设备上进行实时处理。针对密集标注应用的剪枝仍是一个很大程度上未被探索的领域。主流的滤波器通道剪枝方法移除整个滤波器通道，因而忽略了同一滤波器通道内各核之间的相互作用。在本研究中，我们提出核聚类剪枝（KCP）来剪枝密集标注网络。我们开发了一种聚类技术以识别每一层中最不具代表性的核。通过迭代移除这些核，能够更好地表征整个网络的参数得以保留；从而我们以可观的模型规模与计算量缩减实现了更好的精度。在立体匹配与语义分割神经网络上的评估表明，我们的方法能减少超过70%的FLOPs，且精度下降小于1%。此外，对于ILSVRC-2012上的ResNet-50，我们的KCP能减少超过50%的FLOPs，且Top-1精度提升0.13%。因此，KCP取得了最先进的剪枝结果。
引用
@article{arxiv.2101.06686,
title = {KCP: Kernel Cluster Pruning for Dense Labeling Neural Networks},
author = {Po-Hsiang Yu and Sih-Sian Wu and Liang-Gee Chen},
journal= {arXiv preprint arXiv:2101.06686},
year = {2021}
}
备注
17 pages, 16 figures