张量回归网络
机器学习
2020-07-22 v4
摘要
卷积神经网络通常由许多卷积层后接一个或多个全连接层组成。虽然卷积层在高阶激活张量之间进行映射，但全连接层作用于展平的激活向量。尽管这种方法在经验上取得了成功，但它存在明显的缺点。展平后接全连接层会丢弃激活中的多线性结构，并且需要大量参数。我们通过在每个层引入保留多线性结构的张量代数运算来解决这些问题。首先，我们引入了张量收缩层（TCLs），它利用张量收缩在降低输入维度的同时保留其多线性结构。接下来，我们引入了张量回归层（TRLs），它通过从高阶激活张量到任意阶输出张量的低秩多线性映射来表达输出。我们端到端地学习收缩因子和回归因子，并以更少的参数生成准确的网络。此外，我们的层通过对激活（TCL）和回归权重（TRL）施加低秩约束来正则化网络。在 ImageNet 上的实验表明，应用于 VGG 和 ResNet 架构时，与全连接层相比，TCLs 和 TRLs 将参数数量减少了 65% 以上，同时保持或提高了准确率。除了节省空间外，我们方法利用拓扑结构的能力对于 MRI 等结构化数据可能至关重要。特别是，我们证明了在与 UK Biobank 数据集相关的三个任务上，相较于可比架构有显著的性能提升。
引用
@article{arxiv.1707.08308,
title = {Tensor Regression Networks},
author = {Jean Kossaifi and Zachary C. Lipton and Arinbjorn Kolbeinsson and Aran Khanna and Tommaso Furlanello and Anima Anandkumar},
journal= {arXiv preprint arXiv:1707.08308},
year = {2020}
}