卷积神经网络中特征图相似性降低
计算机视觉与模式识别
2025-05-23 v2 机器学习
摘要
已观察到卷积神经网络（CNN）中的特征图存在冗余，导致容量利用效率低下。此前的研究大多集中于核正交性方法。在本工作中，我们从理论和实证两方面证明核正交性并不必然导致特征图冗余的降低。基于该分析，我们提出卷积相似性（Convolutional Similarity）方法，用于独立于 CNN 输入地降低特征图相似性。卷积相似性既可作为正则化项最小化，也可作为迭代初始化方法最小化。实验结果表明，最小化卷积相似性不仅提升了分类准确率，还加速了收敛。此外，我们的方法使得可以使用显著更小的模型达到同等性能，从而更高效地利用模型容量。未来工作将聚焦于将迭代初始化方法与优化动量项相结合，并考察该方法对生成框架的影响。
引用
@article{arxiv.2411.03226,
title = {Feature Map Similarity Reduction in Convolutional Neural Networks},
author = {Zakariae Belmekki and Jun Li and Patrick Reuter and David Antonio Gómez Jáuregui and Karl Jenkins},
journal= {arXiv preprint arXiv:2411.03226},
year = {2025}
}