张量神经网络：神经网络的推广及其在模型压缩中的应用
机器学习
2018-12-11 v3 机器学习
摘要
我们提出张量神经网络（TNNs），通过将低阶操作数的张量运算推广到高阶操作数，对现有神经网络进行了推广。参数学习问题具有挑战性，因为它对应于分层非线性张量分解。我们提出在引入的广义张量代数中推导非平凡的反向传播规则，并使用随机梯度下降来求解该学习问题。我们提出的 TNNs 相比现有神经网络具有三个优势：（1）TNNs 自然适用于高阶输入对象，从而保留输入中的多维结构，因为无需将数据展平。（2）TNNs 解释了现有神经网络架构的设计。（3）将具有相同表达能力的神经网络映射为 TNNs 会得到参数更少的 TNN。基于 TNN 的神经网络压缩改进了现有的基于低秩近似的压缩方法，因为 TNNs 除了低秩性外还利用了另外两类不变结构：周期性和调制。在 LeNet-5（MNIST）、ResNet-32（CIFAR10）和 ResNet-50（ImageNet）上的实验表明，在相同压缩率下，我们基于 TNN 的压缩普遍优于（在 CIFAR10 上测试准确率普遍提升 5%）最先进的基于低秩近似的压缩方法，此外由于 TNNs 的高效性还实现了数量级更快的收敛速度。
引用
@article{arxiv.1805.10352,
title = {Tensorial Neural Networks: Generalization of Neural Networks and Application to Model Compression},
author = {Jiahao Su and Jingling Li and Bobby Bhattacharjee and Furong Huang},
journal= {arXiv preprint arXiv:1805.10352},
year = {2018}
}