张量切换网络
神经与进化计算
2016-11-01 v1 机器学习
机器学习
摘要
我们提出了一种新的神经网络算法，即张量切换 (TS) 网络，它将整流线性单元 (ReLU) 非线性推广到张量值隐藏单元。TS 网络将其整个输入向量复制到扩展表示中的不同位置，位置由其隐藏单元活动决定。通过这种方式，即使是来自 TS 表示的简单线性读出也能实现高度表达式的深网络类函数。因此，TS 网络通过构造避免了梯度消失问题，代价是更大的表示尺寸。我们开发了多种训练 TS 网络的方法，包括用于无限宽和深 TS 网络的等效核、一次性线性学习算法以及两种受反向传播启发的表示学习算法。我们的实验结果表明，TS 网络确实具有更强的表达能力，并且比标准 ReLU 网络学习得更快。
引用
@article{arxiv.1610.10087,
title = {Tensor Switching Networks},
author = {Chuan-Yung Tsai and Andrew Saxe and David Cox},
journal= {arXiv preprint arXiv:1610.10087},
year = {2016}
}