块项张量神经网络
机器学习
2020-12-21 v2 神经与进化计算
摘要
深度神经网络（DNNs）在图像分类、自然语言处理等广泛应用中取得了卓越性能。尽管性能良好，DNNs 中庞大的参数数量给其高效训练以及在计算资源受限的低端设备上的部署带来了挑战。本文中，我们探究权重矩阵中的相关性，并用低秩块项张量近似权重矩阵。我们将这一新的对应结构命名为块项张量层（BT-layers），其可轻松适配于卷积神经网络（CNNs）和循环神经网络（RNNs）等神经网络模型。特别地，BT-layers 中的输入和输出被重塑为低维高阶张量，且具有相似或更强的表示能力。充分的实验表明，CNNs 和 RNNs 中的 BT-layers 能在保持或提升原始 DNNs 表示能力的同时，在参数数量上实现非常大的压缩比。
引用
@article{arxiv.2010.04963,
title = {Block-term Tensor Neural Networks},
author = {Jinmian Ye and Guangxi Li and Di Chen and Haiqin Yang and Shandian Zhe and Zenglin Xu},
journal= {arXiv preprint arXiv:2010.04963},
year = {2020}
}
备注
12 pages, 15 figures