基于非线性连续加权有限自动机的序列密度估计
机器学习
2022-12-13 v2 人工智能
摘要
加权有限自动机（WFAs）已广泛应用于诸多领域。WFAs 的经典问题之一是对离散符号序列上的概率分布进行估计。尽管 WFAs 已被扩展以处理连续输入数据，即连续 WFAs（CWFAs），但由于模型表达能力的限制以及通过 CWFAs 逼近密度函数的可处理性问题，如何利用基于 WFA 的模型逼近连续随机变量序列上的密度函数仍不清楚。本文提出对 CWFA 模型的非线性扩展以首先提升其表达能力，称之为非线性连续 WFAs（NCWFAs）。随后我们利用著名的基于神经网络的密度估计方法 RNADE，提出 RNADE-NCWFA 模型。RNADE-NCWFA 模型按设计计算密度函数。我们证明该模型严格比高斯 HMM 模型更具表达能力，而 CWFA 无法逼近高斯 HMM。在实验上，我们使用高斯 HMM 生成的数据进行合成实验，重点评估模型对变长（长于训练数据）序列的密度估计能力。我们观察到我们的模型在比较的基线方法中表现最佳。
引用
@article{arxiv.2206.03923,
title = {Sequential Density Estimation via Nonlinear Continuous Weighted Finite Automata},
author = {Tianyu Li and Bogdan Mazoure and Guillaume Rabusseau},
journal= {arXiv preprint arXiv:2206.03923},
year = {2022}
}