从系统理论视角看隐马尔可夫链与循环神经网络的表达能力
系统与控制
2022-08-18 v1 系统与控制
信号处理
机器学习
摘要
隐马尔可夫链（HMC）与循环神经网络（RNN）是两种著名的时序预测工具。尽管这些方案在不同社群中独立发展，但作为概率结构它们具有某些相似性。因此本文首先将 HMC 与 RNN 视为生成模型，并将两者嵌入一个通用生成统一模型（GUM）。我们接着对这些模型的表达能力进行比较研究。为此，我们假设模型进一步为线性且高斯。这些模型所生成的概率分布由结构化协方差序列刻画，因此表达能力归结为比较结构化协方差序列集合，这使我们得以借助随机实现理论（SRT）。我们最终给出了给定协方差序列可由 GUM、HMC 或 RNN 实现的条件。
引用
@article{arxiv.2208.08175,
title = {Expressivity of Hidden Markov Chains vs. Recurrent Neural Networks from a system theoretic viewpoint},
author = {François Desbouvries and Yohan Petetin and Achille Salaün},
journal= {arXiv preprint arXiv:2208.08175},
year = {2022}
}