理解卷积滤波器的协方差结构
计算机视觉与模式识别
2022-10-10 v1 人工智能
机器学习
摘要
神经网络权重通常从单变量分布中随机初始化，即使在像卷积这样高度结构化的运算中也仅控制单个权重的方差。近期受 ViT 启发的卷积网络，如 ConvMixer 和 ConvNeXt，使用了大核深度可分离卷积，其学到的滤波器具有显著的结构；这为研究它们的经验协方差提供了机会。在本工作中，我们首先观察到此类学到的滤波器具有高度结构化的协方差矩阵，并且进一步发现，从小型网络计算得到的协方差可用于有效地初始化多种不同深度、宽度、块大小和核大小的大型网络，表明协方差结构具有一定程度的模型无关性。受这些发现的启发，我们随后提出了一种无学习的卷积滤波器多元初始化方案，使用其协方差的简单闭式构造。采用我们初始化的模型优于使用传统单变量初始化的模型，并且通常达到或超越使用学到的滤波器协方差初始化的模型性能；在某些情况下，这种改进甚至可以在完全不训练深度可分离卷积滤波器的情况下实现。
引用
@article{arxiv.2210.03651,
title = {Understanding the Covariance Structure of Convolutional Filters},
author = {Asher Trockman and Devin Willmott and J. Zico Kolter},
journal= {arXiv preprint arXiv:2210.03651},
year = {2022}
}