关联卷积层
机器学习
2019-08-13 v3 机器学习
摘要
受分布式机器学习与人工智能边缘设备对参数效率需求的驱动，我们提出一种通用且易于实现的方法，可在训练和推理阶段显著减少卷积神经网络（CNN）的参数数量。我们引入一个简单的辅助神经网络，它能从一个低维潜在空间生成任意 CNN 架构的卷积滤波器。这个辅助神经网络被称为“卷积切片生成器”（CSG），它对网络而言是唯一的，并提供了其各卷积层之间的关联。在训练 CNN 时，我们不再训练卷积层的滤波器，而仅训练 CSG 的参数及其对应的“码向量”。由于 CNN 可完全仅由 CSG 的参数、码向量、全连接层以及 CNN 架构来表示，这使得参数数量显著减少。我们通过在 CIFAR-10 和 ImageNet 数据集上训练的 ResNet 与 DenseNet 模型来评估该方法。在参数数量平均减少约 2 倍的情况下，这些网络的准确率保持在原始对应模型的 1% 以内，且在某些情况下准确率还有所提升。
引用
@article{arxiv.1906.04309,
title = {Associative Convolutional Layers},
author = {Hamed Omidvar and Vahideh Akhlaghi and Massimo Franceschetti and Rajesh K. Gupta},
journal= {arXiv preprint arXiv:1906.04309},
year = {2019}
}