卷积层的奇异值
机器学习
2019-03-07 v2 人工智能
机器学习
摘要
我们刻画了与标准二维多通道卷积层相关的线性变换的奇异值，使其能够高效计算。这一刻画还导出了一种将卷积层投影到算子范数球上的算法。我们表明这是一种有效的正则化器；例如，它将使用批量归一化的深度残差网络在 CIFAR-10 上的测试误差从 6.2% 降低到 5.3%。
引用
@article{arxiv.1805.10408,
title = {The Singular Values of Convolutional Layers},
author = {Hanie Sedghi and Vineet Gupta and Philip M. Long},
journal= {arXiv preprint arXiv:1805.10408},
year = {2019}
}
备注
Published as a conference paper at ICLR 2019