循环神经网络的动态分析及其特征初始化方法
机器学习
2023-07-31 v1
摘要
在循环神经网络中，由于梯度消失与爆炸问题，学习长期依赖是主要困难。许多研究者致力于解决此问题并提出了许多算法。尽管这些算法已取得巨大成功，理解信息如何衰减仍是一个开放问题。本文中，我们研究循环神经网络中隐藏状态的动力学。我们提出一种基于权重矩阵特征分解来分析隐藏状态空间的新视角。我们从线性状态空间模型开始分析，并解释激活函数中信息保持的作用。我们基于特征分析对长期依赖给出解释。我们还指出了回归任务与分类任务中特征值的不同行为。从对训练良好的循环神经网络的观察出发，我们提出了一种用于循环神经网络的新初始化方法，其性能得到一致提升。它可应用于 vanilla-RNN、LSTM 和 GRU。我们在许多数据集上测试，如 Tomita Grammars、逐像素 MNIST 数据集以及机器翻译数据集（Multi30k）。在若干任务中，它优于 Xavier 初始化器和 kaiming 初始化器以及其他仅用于 RNN 的初始化器如 IRNN 和 sp-RNN。
引用
@article{arxiv.2307.15679,
title = {Dynamic Analysis and an Eigen Initializer for Recurrent Neural Networks},
author = {Ran Dou and Jose Principe},
journal= {arXiv preprint arXiv:2307.15679},
year = {2023}
}