从长短期记忆（LSTM）架构中序列学习提取知识
机器学习
2019-12-09 v1 神经与进化计算
机器学习
摘要
我们引入一种通用方法，从已学会根据未知生成自动机判断给定输入序列是否有效的循环神经网络（长短期记忆，LSTM）中提取知识。基于隐藏状态的聚类，我们阐释了如何构建并验证一个对应于底层（未知）自动机的自动机，并可用于预测给定序列是否有效。该方法在人工语法（Reber语法变体）以及底层语法未知的实际情况中均得到了说明。
引用
@article{arxiv.1912.03126,
title = {Knowledge extraction from the learning of sequences in a long short term memory (LSTM) architecture},
author = {Ikram Chraibi Kaadoud and Nicolas P. Rougier and Frédéric Alexandre},
journal= {arXiv preprint arXiv:1912.03126},
year = {2019}
}
备注
18 pages, 17 figures