Kronecker 循环单元
机器学习
2018-01-03 v7
摘要
我们的工作解决了循环神经网络的两个重要问题：(1) 它们被过度参数化，以及 (2) 循环矩阵是病态的。前者增加了学习的样本复杂度和训练时间。后者导致了梯度消失和梯度爆炸问题。我们提出了一种灵活的循环神经网络模型，称为 Kronecker 循环单元 (KRU)。KRU 通过 Kronecker 分解的循环矩阵实现了 RNN 中的参数高效性。它通过对因子施加软酉约束来克服循环矩阵的病态问题。由于因子的维数较小，维持这些约束在计算上是高效的。我们在七个标准数据集上的实验结果表明，与现有的循环模型相比，KRU 可以将循环权重矩阵中的参数数量减少三个数量级，且不牺牲统计性能。这些结果特别表明，虽然拥有高维循环空间具有优势，但模型循环部分的容量可以被大幅降低。
引用
@article{arxiv.1705.10142,
title = {Kronecker Recurrent Units},
author = {Cijo Jose and Moustpaha Cisse and Francois Fleuret},
journal= {arXiv preprint arXiv:1705.10142},
year = {2018}
}