卷积神经网络中可训练且可谱初始化的矩阵变换
计算机视觉与模式识别
2019-11-14 v2 机器学习
摘要
在这项工作中，我们研究了在卷积操作产生的特征图上应用可训练且可谱初始化的矩阵变换。尽管已有文献证明了将静态谱变换作为特征处理器的可能性，我们的重点在于更一般的可训练变换。我们在四种不同性质的数据集上以多种架构配置研究了这些变换：从医学（ColorectalHist、HAM10000）和自然（Flowers、ImageNet）图像到历史文档（CB55）和手写识别（GPDS）。通过严格控制参数量和随机性的严谨实验，我们表明采用所引入矩阵变换的网络优于原始神经网络。在所有数据集上观察到的准确率平均提升 2.2。此外，我们表明谱初始化的好处在于显著更快的收敛，而非随机初始化的矩阵变换。这些变换被实现为可自动微分的 PyTorch 模块，可纳入任何神经网络架构。整个代码库是开源的。
引用
@article{arxiv.1911.05045,
title = {Trainable Spectrally Initializable Matrix Transformations in Convolutional Neural Networks},
author = {Michele Alberti and Angela Botros and Narayan Schuez and Rolf Ingold and Marcus Liwicki and Mathias Seuret},
journal= {arXiv preprint arXiv:1911.05045},
year = {2019}
}
备注
8 pages