StrassenNets：具有乘法预算的深度学习
机器学习
2018-06-11 v3 计算机视觉与模式识别
摘要
评估深度神经网络(DNNs)所需的算术运算中很大一部分为矩阵乘法，分布于卷积层与全连接层中。我们将矩阵乘法视为2层求和-乘积网络(SPNs)（算术电路），并从数据中学习其（三元）边权，从而对DNN层中的矩阵乘法进行端到端低成本近似学习。SPNs解耦了乘法与加法运算，使我们能够对乘法运算次数施加预算。将我们的方法与知识蒸馏结合并应用于图像分类DNNs（在ImageNet上训练）与语言建模DNNs（使用LSTMs），我们首次实现了乘法次数大幅缩减（超过99.5%），同时保持了全精度模型的预测性能。最后，我们证明所提框架能够重新发现Strassen矩阵乘法算法，学会仅用7次而非8次乘法来乘矩阵。
引用
@article{arxiv.1712.03942,
title = {StrassenNets: Deep Learning with a Multiplication Budget},
author = {Michael Tschannen and Aran Khanna and Anima Anandkumar},
journal= {arXiv preprint arXiv:1712.03942},
year = {2018}
}
备注
ICML 2018. Code available at https://github.com/mitscha/strassennets