联合 lemmatize 与形态标记：LEMMING

P. J. E. Peebles

联合 lemmatize 与形态标记：LEMMING

宇宙学与河外天体物理 2024-05-29 v1

作者: P. J. E. Peebles

摘要

我们提出LEMMING，一个模块化的对数线性模型，联合建模lemmatization和标记化，可支持任意全局特征的集成。它可以在标注有金标准标签和lemmatized词形的语料库上进行训练，不依赖形态学词典或分析器。LEMMING在六种语言上实现了基于token的统计lemmatization的新纪录；例如，在捷克语lemmatization方面，我们将错误率降低60%，从4.05降至1.58。我们还给出了联合建模形态标记和lemmatized词形是相互有益的实证证据。

关键词

词形还原形态标记对数线性模型联合建模统计方法

引用

@article{arxiv.2405.18307,
  title  = {Status of the LambdaCDM theory: supporting evidence and anomalies},
  author = {P. J. E. Peebles},
  journal= {arXiv preprint arXiv:2405.18307},
  year   = {2024}
}

备注

Contribution to the Royal Society Discussion Meeting on Challenging the standard cosmological model

联合 lemmatize 与形态标记：LEMMING

摘要

关键词

引用

备注

相关论文