Sauron U-Net:通过滤波器剪枝在医学图像分割中实现简单自动冗余消除
计算机视觉与模式识别
2024-05-24 v2 人工智能
摘要
我们介绍了Sauron,一种消除卷积神经网络(CNNs)冗余特征图的滤波器剪枝方法。Sauron与损失函数联合优化一个正则化项,该正则化项通过减小特征图之间的距离来促进每一卷积层的特征图聚类。然后,Sauron使用自动调整的层特定阈值消除对应于冗余特征图的滤波器。与大多数滤波器剪枝方法不同,Sauron需要对典型神经网络优化的改动最小,因为它联合剪枝和优化CNNs,这反过来随时间加速了优化。此外,与其他基于聚类的方法不同,用户无需预先指定聚类数量,这是一个难以调优的超参数。我们在四个医学图像分割任务上评估了Sauron和五种最先进的滤波器剪枝方法。这是一个很少关注滤波器剪枝的领域,但更小的CNN模型因本地部署而备受青睐,可缓解与基于云的解决方案相关的隐私问题。Sauron是唯一一种在实现超过90%模型尺寸缩减的同时不显著恶化性能的方法。Sauron还在有和无GPU的机器上总体实现了推理时最快的模型。最后,我们通过实验表明,用Sauron剪枝的模型的特征图具有高度可解释性,这对于医学图像分割至关重要。
引用
@article{arxiv.2209.13590,
title = {Sauron U-Net: Simple automated redundancy elimination in medical image segmentation via filter pruning},
author = {Juan Miguel Valverde and Artem Shatillo and Jussi Tohka},
journal= {arXiv preprint arXiv:2209.13590},
year = {2024}
}
备注
Accepted in Neurocomputing