Pearl: 一种概率型图表解析器
cmp-lg
2008-02-03 v1 计算与语言
摘要
本文描述了一种面向无限制文本的自然语言解析算法，该算法使用基于概率的评分函数来选择句子的"最佳"解析。解析器 Pearl 是一个时间异步的自底向上图表解析器，结合 Earley 类型的自顶向下预测，在图表中追求得分最高的理论，其中理论的得分表示句子语境对该解释的预测程度。该解析器与之前的随机解析器尝试不同之处在于，它使用基于语境的更丰富的条件概率来预测可能性。Pearl 还提供了一个框架，用于将此前在词性标注、未知词模型和其他语言特征概率模型方面的研究成果整合到一个解析工具中，通过交错使用这些技术而非传统的流水线架构。在初步测试中，Pearl 成功解决了词性和词（语音处理中）的歧义问题，为未知词确定类别，并通过一个拟合度很宽松的覆盖语法首先选择正确的解析。
引用
@article{arxiv.cmp-lg/9405005,
title = {Pearl: A Probabilistic Chart Parser},
author = {David M. Magerman and Mitchell P. Marcus},
journal= {arXiv preprint arXiv:cmp-lg/9405005},
year = {2008}
}
备注
7 pages