加权有限状态机的高阶导计算
计算与语言
2023-09-29 v2
摘要
加权有限状态机是 NLP 系统的基本构建块。它们经受住了时间的考验——从 1990 年代在噪声信道模型中的早期使用，到现代神经参数化条件随机场。本工作考察了针对加权有限状态机归一化常数高阶导数的计算。我们提供了评估各阶导数的通用算法，这在先前文献中未被描述过。在二阶导数的情形下，我们的方案以最优的 时间运行，其中 为字母表大小， 为状态数。我们的算法显著快于先前的算法。此外，我们的方法带来了显著更快的二阶期望计算算法，例如协方差矩阵和一阶期望的梯度。
引用
@article{arxiv.2106.00749,
title = {Higher-order Derivatives of Weighted Finite-state Machines},
author = {Ran Zmigrod and Tim Vieira and Ryan Cotterell},
journal= {arXiv preprint arXiv:2106.00749},
year = {2023}
}