通过谱学习连接加权自动机、张量网络与循环神经网络
机器学习
2022-01-10 v2 形式语言与自动机理论
摘要
本文展示了用于不同研究领域的三种模型之间的联系：形式语言与语言学中的加权有限自动机~(WFA)、机器学习中使用的循环神经网络，以及涵盖量子物理与数值分析中用于高阶张量的一组优化技术的张量网络。我们首先给出 WFA 与张量列分解(一种特定形式的张量网络)之间的本质关系。该关系使我们揭示由 WFA 计算的函数之 Hankel 矩阵的新型低秩结构，并设计一种利用此结构以将算法扩展至极大 Hankel 矩阵的高效谱学习算法。我们随后阐明 WFA 与二阶循环神经网络~(2-RNN)之间的根本联系：在离散符号序列情形下，具线性激活函数的 WFA 与 2-RNN 在表达能力上等价。利用该等价结果结合经典的加权自动机谱学习算法，我们引入了首个可证明的、定义于连续输入向量序列上的线性 2-RNN 学习算法。该算法依赖于估计 Hankel 张量的低秩子块，由此可证地恢复线性 2-RNN 的参数。所提学习算法的性能在合成与真实世界数据的仿真研究中得到评估。
引用
@article{arxiv.2010.10029,
title = {Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning},
author = {Tianyu Li and Doina Precup and Guillaume Rabusseau},
journal= {arXiv preprint arXiv:2010.10029},
year = {2022}
}
备注
Accepted as a journal paper in Machine Learning Journal. arXiv admin note: text overlap with arXiv:1807.01406