用于提升模型容量利用率的自重组与 rejuvenating CNN
机器学习
2021-02-16 v1 计算机视觉与模式识别
神经与进化计算
摘要
本文提出自重组与 rejuvenating 卷积神经网络；一种受生物学启发、用于改善神经网络计算资源利用率的方法。所提方法利用卷积层的通道激活来重组该层参数。重组后的参数被聚类以避免参数冗余。如此，具有相似激活的冗余神经元被合并，为其余参数 rejuvenate 留出空间。rejuvenated 参数学习不同的特征以补充重组后存活参数所学到的特征。结果，网络容量利用率提升，在不改变网络结构的情况下改善了基线网络性能。所提方法可在训练阶段应用于多种网络架构，或应用于预训练模型以提升其性能。实验结果表明该方法与模型无关，可应用于任何骨干架构，因网络容量利用率的提高而提升其性能。
引用
@article{arxiv.2102.06870,
title = {Self-Reorganizing and Rejuvenating CNNs for Increasing Model Capacity Utilization},
author = {Wissam J. Baddar and Seungju Han and Seonmin Rhee and Jae-Joon Han},
journal= {arXiv preprint arXiv:2102.06870},
year = {2021}
}