具有低秩正则化的卷积神经网络
机器学习
2016-02-16 v3 计算机视觉与模式识别
机器学习
摘要
大型 CNN 在各种计算机视觉应用中取得了令人瞩目的性能。但其存储和计算需求使得在这些移动设备上部署这些模型成为问题。最近，张量分解被用于加速 CNN。在本文中，我们进一步发展了张量分解技术。我们提出了一种新的算法来计算低秩张量分解，以消除卷积核中的冗余。该算法能找到分解的精确全局优化器，并且比迭代方法更有效。基于该分解，我们进一步提出了一种从头开始训练低秩约束 CNN 的新方法。有趣的是，在实现显著加速的同时，低秩约束 CNN 有时的性能显著优于其非约束对应模型。在 CIFAR-10 数据集上，所提出的低秩 NIN 模型达到了 的准确率（无数据增强），同样超越了现有最佳结果。我们在 CIFAR-10 和 ILSVRC12 数据集上对所提出的方法进行了评估，成功应用于包括 AlexNet、NIN、VGG 和 GoogleNet 在内的多种现代 CNN。例如，VGG-16 的前向传播时间减少了一半，而性能依然相当。经验上的成功表明，低秩张量分解可以成为加速大型 CNN 的非常有用的工具。
引用
@article{arxiv.1511.06067,
title = {Convolutional neural networks with low-rank regularization},
author = {Cheng Tai and Tong Xiao and Yi Zhang and Xiaogang Wang and Weinan E},
journal= {arXiv preprint arXiv:1511.06067},
year = {2016}
}