CNN上的LFA：基于局部傅里叶分析的卷积映射奇异值分解
机器学习
2025-06-09 v1 人工智能
摘要
卷积映射的奇异值编码了有趣的谱特征，可用于提高卷积神经网络的泛化能力和鲁棒性，也可用于促进模型压缩。然而，奇异值的计算通常非常资源密集。笨拙的方法涉及沿输入和通道维度展开卷积映射，形成一个大型稀疏二维矩阵，由于硬件限制，无法实际计算所有奇异值。这一点对于表示大输入和高通道数的卷积映射的矩阵尤其如此。现有高效方法利用快速傅里叶变换（FFT）将卷积映射转化到频域，从而 enables 对表示大输入和通道数的卷积的矩阵计算奇异值。对于固定卷积中的通道数，FFT可在O(N log N)复杂度下计算N个奇异值。在本工作中，我们提出一种基于局部傅里叶分析的O(N)复杂度方法，同时利用卷积算子的平移不变性。我们对算法运行时间进行了理论分析，并通过数值实验验证了其效率。我们的结果表明，所提出的方法是可扩展的，为计算高维卷积映射的全部奇异值——以及如需的话的相应奇异向量——提供了实用解决方案。
引用
@article{arxiv.2506.05617,
title = {LFA applied to CNNs: Efficient Singular Value Decomposition of Convolutional Mappings by Local Fourier Analysis},
author = {Antonia van Betteray and Matthias Rottmann and Karsten Kahl},
journal= {arXiv preprint arXiv:2506.05617},
year = {2025}
}