深度可分离卷积实现快速且内存高效的谱归一化
机器学习
2021-02-15 v1 计算机视觉与模式识别
机器学习
摘要
越来越多的模型需要对神经网络卷积层的谱范数进行控制。尽管已有大量方法用于在训练过程中估计并强制这些谱范数的上界，但它们通常在内存或时间上代价高昂。在本工作中，我们提出了一种非常简单的深度可分离卷积谱归一化方法，其带来的计算与内存开销可忽略不计。我们在使用 MobileNetV2 等标准架构的图像分类任务上验证了该方法的有效性。
引用
@article{arxiv.2102.06496,
title = {Depthwise Separable Convolutions Allow for Fast and Memory-Efficient Spectral Normalization},
author = {Christina Runkel and Christian Etmann and Michael Möller and Carola-Bibiane Schönlieb},
journal= {arXiv preprint arXiv:2102.06496},
year = {2021}
}