非线性张量环网络
机器学习
2021-11-15 v1 人工智能
图像与视频处理
摘要
最先进的深度神经网络（DNNs）已被广泛应用于各种实际场景，并在认知问题上取得显著性能。然而，DNNs 架构宽度与深度的增加导致海量参数，对存储与内存开销提出挑战，限制了 DNNs 在便携设备等资源受限平台上的使用。通过将冗余模型转换为紧凑模型，压缩技术似乎是降低存储与内存消耗的实用方案。本文中，我们提出非线性张量环网络（NTRN），其中全连接层与卷积层均通过张量环分解进行压缩。此外，为缓解压缩引起的精度损失，在压缩层内部的张量缩并与卷积操作中嵌入非线性激活函数。实验结果证明了所提 NTRN 在 LeNet-5 与 VGG-11 两种基础神经网络上于 MNIST、Fashion MNIST 与 Cifar-10 三个数据集进行图像分类的有效性与优越性。
引用
@article{arxiv.2111.06532,
title = {Nonlinear Tensor Ring Network},
author = {Xiao Peng Li and Qi Liu and Hing Cheung So},
journal= {arXiv preprint arXiv:2111.06532},
year = {2021}
}