自动预测每个解析器的性能

Ergun Biçici

自动预测每个解析器的性能

计算与语言 2024-07-09 v1 人工智能

作者: Ergun Biçici

摘要

我们提出了新的解析器性能预测 (PPP) 模型，基于机器翻译性能预测系统 (MTPPS)，该系统与任何语言或解析器统计上独立，仅依赖于基于文本、链结构和括号树结构信息的外在和新特性。该新系统MTPPS-PPP可以预测任何语言中任何解析器的性能，可用于估计理解给定文本的语法难度、设置解析输出的预期、为特定领域选择解析器以及用于解析器组合系统。我们在PPP中获得了书架F1的最佳结果，相对于文本特征表现更好，与使用解析器和语言标记特定信息的先前结果性能相似。我们的結果显示不同类型特征的贡献以及在不同实验设置（大小写 vs. 非大小写）、不同学习任务（同域 vs. 异域）、不同训练集、不同学习算法以及不同降维技术下的单个特征排名。我们实现了0.0678的MAE和0.85的RAE在设置+Link，这对应于对Charniak和Johnson解析器在WSJ23测试集上的书架F1得分约7.4%的误差。MTPPS-PPP系统可以在不进行解析的情况下仅使用文本预测，在没有监督解析器的情况下仅使用非监督解析器预测，在没有任何解析器或语言相关信息的情况下预测，在不使用参考解析器输出的情况下预测，并且可用于预测任何语言中任何解析器的性能。

关键词

解析器性能预测机器翻译括号F1 文本特征结构特征

引用

@article{arxiv.2407.05116,
  title  = {Automatic Prediction of the Performance of Every Parser},
  author = {Ergun Biçici},
  journal= {arXiv preprint arXiv:2407.05116},
  year   = {2024}
}

备注

8 pages, 2 figures, 7 tables

自动预测每个解析器的性能

摘要

关键词

引用

备注

相关论文