通过谱学习连接加权自动机与循环神经网络
机器学习
2019-04-09 v2 形式语言与自动机理论
机器学习
摘要
本文揭示了加权有限自动机（WFAs）与二阶循环神经网络（2-RNNs）之间的基本联系：在离散符号序列的情形下，WFAs 与具有线性激活函数的 2-RNNs 在表达力上等价。受此结果启发，我们基于近期谱学习算法向向量值 WFAs 的扩展，提出了首个针对定义在连续输入向量序列上的线性 2-RNNs 的可证明学习算法。该算法依赖于估计所谓 Hankel 张量的低秩子块，由此可证地恢复线性 2-RNN 的参数。所提方法的性能在一项仿真研究中得到评估。
引用
@article{arxiv.1807.01406,
title = {Connecting Weighted Automata and Recurrent Neural Networks through Spectral Learning},
author = {Guillaume Rabusseau and Tianyu Li and Doina Precup},
journal= {arXiv preprint arXiv:1807.01406},
year = {2019}
}
备注
AISTATS 2019