关于循环神经网络（RNN）在逐点非线性之前与之后线性化的简短技术笔记
机器学习
2023-09-11 v1 神经元与认知
摘要
循环神经网络（RNN）动力学的线性化常被用于研究其性质。同一RNN动力学既可以用“激活值”（各单元在其逐点非线性之前的净输入）表示，也可以用“活动值”（各单元在其逐点非线性之后的输出）表示；这两种对应的线性化彼此不同。这篇简短且非正式的技術笔记描述了两种线性化之间的关系、它们动力学矩阵左右特征向量之间的关系，并表明某些上下文依赖效应在活动值动力学线性化下显而易见，而在激活值动力学线性化下则不然。
引用
@article{arxiv.2309.04030,
title = {Brief technical note on linearizing recurrent neural networks (RNNs) before vs after the pointwise nonlinearity},
author = {Marino Pagan and Adrian Valente and Srdjan Ostojic and Carlos D. Brody},
journal= {arXiv preprint arXiv:2309.04030},
year = {2023}
}
备注
10 pages