使用通道剪枝缓解深度胶囊网络中的激活消失问题
计算机视觉与模式识别
2024-10-23 v1 人工智能
摘要
胶囊网络在学习具有视角不变性的部分-整体关系方面优于卷积神经网络，这归功于其多维胶囊。人们曾假设增加胶囊网络中的胶囊层数会提升模型性能。然而，最近的研究发现，由于深层胶囊中的激活消失，胶囊网络缺乏可扩展性。本文深入研究了深度胶囊网络中的激活消失问题。为了分析这个问题并理解增加胶囊维度如何促进更深的网络，本文构建并评估了具有不同胶囊数量、胶囊维度和中间层的各种胶囊网络模型。与传统的模型剪枝（减少模型参数数量并加速模型训练）不同，本研究使用剪枝来缓解深层胶囊层中的激活消失。此外，以不同的剪枝比率对骨干网络和胶囊层进行剪枝，以减少非活动胶囊的数量，并实现比未剪枝模型更好的模型精度。
引用
@article{arxiv.2410.16908,
title = {Mitigating Vanishing Activations in Deep CapsNets Using Channel Pruning},
author = {Siddharth Sahu and Abdulrahman Altahhan},
journal= {arXiv preprint arXiv:2410.16908},
year = {2024}
}