采用多种低秩张量近似的张量回归网络
机器学习
2018-11-30 v2 机器学习
摘要
张量回归网络在对神经网络权重矩阵施加低张量秩结构的同时，实现了较高的神经网络压缩率且对性能影响甚微。它们通过对全连接层的权重矩阵施加低张量秩结构来实现这一点。近年来，张量回归网络已从压缩能力的角度得到研究，然而，强制低秩张量结构的正则化效应尚未得到充分研究。我们使用多种低秩张量近似研究张量回归网络，旨在比较不同低秩约束的压缩与正则化能力。我们利用深层与浅层卷积神经网络评估所提模型的压缩与正则化性能。我们的实验结果表明，当应用于带有 CIFAR-10 数据集的深层卷积神经网络时，全局平均池化层优于张量回归层。相反，在样本数量较少的训练下，带有张量回归层和 dropout 的浅层卷积神经网络比带有 dropout 函数的全局平均池化和全连接层均取得了更低的测试误差。
引用
@article{arxiv.1712.09520,
title = {Tensor Regression Networks with various Low-Rank Tensor Approximations},
author = {Xingwei Cao and Guillaume Rabusseau},
journal= {arXiv preprint arXiv:1712.09520},
year = {2018}
}