两种 CCG、一种 PCFG 及一种链接语法解析器的鲁棒性评估
计算与语言
2008-01-25 v1
摘要
解析器的鲁棒性是指其处理异常现象的能力。若解析器能处理超出其正常输入范围的现象，则称其具有鲁棒性。本文报告了一系列针对最先进解析器的鲁棒性评估，重点考察鲁棒性的一个方面：解析包含拼写错误句子的能力。我们提出了两种基于比较解析器对语法正确输入句子及其噪声对应版本输出的鲁棒性评估指标。在本文中，我们利用这些指标比较了四种被评估解析器的整体鲁棒性，并分析了随着错误级别增加解析器性能下降的情况。结果表明，当解析器处理包含拼写错误的文本时，性能通常下降数十个百分点。在我们专门构建的包含 443 个句子的测试集上进行测试时，实验中表现最佳的解析器（C&C parser）对于含有一个、两个或三个拼写错误的句子，分别能在 60.8%、34.0% 和 14.9% 的情况下为语法正确和语法错误的句子返回完全相同的解析树。
引用
@article{arxiv.0801.3817,
title = {Robustness Evaluation of Two CCG, a PCFG and a Link Grammar Parsers},
author = {Tuomo Kakkonen},
journal= {arXiv preprint arXiv:0801.3817},
year = {2008}
}