卷积神经网络的带限训练与推理
机器学习
2019-11-22 v1 计算机视觉与模式识别
机器学习
摘要
卷积层是神经网络架构的核心构建模块。一般而言，卷积滤波器作用于输入数据的整个频谱。我们探索在训练过程中人为约束这些滤波器与数据的频谱，即所谓带限（band-limiting）。该频域约束同时应用于前向传播与反向传播步骤。通过实验，我们观察到卷积神经网络（CNNs）对此压缩方案具有鲁棒性，且结果表明CNNs学会利用低频分量。具体而言，我们发现：（1）带限训练可有效控制资源使用（GPU与内存）；（2）采用带限层训练的模型保持较高的预测精度；（3）与其他压缩方案不同，使用它无需修改现有训练算法或神经网络架构。
引用
@article{arxiv.1911.09287,
title = {Band-limited Training and Inference for Convolutional Neural Networks},
author = {Adam Dziedzic and John Paparrizos and Sanjay Krishnan and Aaron Elmore and Michael Franklin},
journal= {arXiv preprint arXiv:1911.09287},
year = {2019}
}
备注
Published at International Conference on Machine Learning (ICML)