生成树分布下期望的高效计算
计算与语言
2021-03-26 v4
摘要
我们给出生成树模型中推理的一般框架。我们针对边分解、非投影生成树模型中一阶期望与二阶期望的重要情形提出统一算法。我们的算法利用梯度与期望之间的基本联系，从而导出高效算法。这些算法易于在有无自动微分软件的情况下实现。我们以先前研究的若干警示性故事动机化框架的发展，这些研究已开发出众多用于计算期望及其梯度的低效算法。我们展示本框架如何高效计算若干已知算法的量，包括期望依附分数、熵与广义期望准则。作为额外收获，我们给出文献中缺失的量的算法，包括KL散度。在所有情形中，我们的方法匹配现有算法的效率，且在若干情形中将运行时间复杂度降低句子长度的倍数。我们通过运行时间实验验证框架实现。我们发现对于计算香农熵与广义期望目标梯度，我们的算法分别比先前算法快达15倍与9倍。
引用
@article{arxiv.2008.12988,
title = {Efficient Computation of Expectations under Spanning Tree Distributions},
author = {Ran Zmigrod and Tim Vieira and Ryan Cotterell},
journal= {arXiv preprint arXiv:2008.12988},
year = {2021}
}