学习类小波自编码器以加速深度神经网络
计算机视觉与模式识别
2017-12-21 v1
摘要
加速深度神经网络（DNNs）正受到越来越多的关注，因为它可惠及广泛应用，例如使计算资源有限的移动系统拥有强大的视觉识别能力。实现该目标的实用策略通常依赖两阶段过程：对训练好的 DNNs 进行操作（例如用张量分解近似卷积滤波器）并微调修正后的网络，导致难以在加速与保持识别性能之间权衡。在本工作中，旨在以通用且全面的方式加速神经网络，我们开发了类小波自编码器（WAE），将原始输入图像分解为两个低分辨率通道（子图像），并将 WAE 嵌入分类神经网络中以进行联合训练。具体而言，两个分解通道被编码以分别携带低频信息（例如图像轮廓）和高频信息（例如图像细节或噪声），并能够通过解码过程重建原始输入图像。然后，我们将低频通道输入标准分类网络如 VGG 或 ResNet，并采用极轻量网络与高频通道融合以获得分类结果。与现有 DNN 加速方案相比，我们的框架具有以下优势：i）它兼容任何现有的用于分类的卷积神经网络而无需修改其结构；ii）WAE 提供了一种可解释的方式来保留输入图像的主要分量用于分类。
引用
@article{arxiv.1712.07493,
title = {Learning a Wavelet-like Auto-Encoder to Accelerate Deep Neural Networks},
author = {Tianshui Chen and Liang Lin and Wangmeng Zuo and Xiaonan Luo and Lei Zhang},
journal= {arXiv preprint arXiv:1712.07493},
year = {2017}
}
备注
Accepted at AAAI 2018