ESN与LSTM在语言任务上的可视化探索之旅
神经与进化计算
2020-12-15 v2
摘要
回声状态网络（ESN）和长短期记忆网络（LSTM）是解决涉及序列数据的机器学习任务的两种流行循环神经网络（RNN）架构。然而，在共同任务上比较其性能和内部机制的工作甚少。在这项工作中，我们在一个跨情境学习（CSL）任务上训练了ESN和LSTM。该任务旨在建模婴儿如何学习语言：他们建立词与视觉刺激之间的关联，以从词和句子中提取含义。结果分为三类：性能比较、内部动态分析以及潜空间可视化。（1）我们发现两种模型均能成功学习任务：LSTM在基础语料上达到最低误差，但ESN训练更快。此外，在更具挑战性且无需额外调参的数据集上，ESN能够超越LSTM。（2）我们还分析了LSTM和ESN内部单元的激活。尽管两种模型存在深层差异（训练或固定的内部权重），我们仍能揭示相似的内部机制：两者均侧重于编码句子结构方面的单元。（3）此外，我们提出循环状态空间可视化（RSSviz），一种基于降维（使用UMAP）来可视化RNN潜状态空间结构的方法。该技术使我们能观察LSTM中序列的分形嵌入。RSSviz亦可用于ESN分析：（i）定位困难样本；（ii）生成展示跨学习阶段激活演化的动画图。最后，我们定性探索了RSSviz如何提供直观可视化，以理解超参数对储层动态在ESN训练前的影响。
引用
@article{arxiv.2012.01748,
title = {A journey in ESN and LSTM visualisations on a language task},
author = {Alexandre Variengien and Xavier Hinaut},
journal= {arXiv preprint arXiv:2012.01748},
year = {2020}
}