使用互信息和独立性度量确定词序列的成词性
人工智能
2008-10-02 v1
摘要
大多数与成词性相关的研究都是作为确定术语性这一更大工作的一部分进行的。因此，独立研究成词性概念并开发专门技术来度量成词性的研究数量极少。我们提出了一种新方法，该方法不受术语性的任何影响，提供了专门的度量手段，从解析文本中收集语言证据，并从谷歌搜索引擎中收集统计证据，用于度量成词性。我们的评估显示，在度量1005个测试用例的成词性时，精确率和召回率分别达到98.68%和91.82%，准确率达到95.42%。
引用
@article{arxiv.0810.0156,
title = {Determining the Unithood of Word Sequences using Mutual Information and Independence Measure},
author = {Wilson Wong and Wei Liu and Mohammed Bennamoun},
journal= {arXiv preprint arXiv:0810.0156},
year = {2008}
}
备注
More information is available at http://explorer.csse.uwa.edu.au/reference/