随机属性-值文法

正则文法和上下文无关文法的概率类比在计算语言学中是众所周知的，目前是密集研究的主题。然而，到目前为止，尚未提出属性-值文法的令人满意的概率类比：先前的尝试未能定义正确的参数估计算法。在本文中，我定义了随机属性-值文法，并给出了估计其参数的正确算法。该估计算法改编自 Della Pietra、Della Pietra 和 Lafferty（1995）的方法。为了估计模型参数，需要计算随机域中某些函数的期望值。在 Della Pietra、Della Pietra 和 Lafferty 所讨论的应用中（表示英语正字法约束），Gibbs 采样可用于估计所需的期望值。属性-值文法生成受约束语言这一事实使得 Gibbs 采样不适用，但我展示了 Gibbs 采样的一个变体——Metropolis-Hastings 算法——如何可以被替代使用。