通过引入显著共现改进点互信息 (PMI)
计算与语言
2013-07-03 v1
摘要
我们通过在流行的词关联度量点互信息 (PMI) 中引入显著共现的概念，设计了一种新的基于共现的词关联度量。通过对大量公开数据集的广泛实验，我们表明新引入的度量优于其他基于共现的度量，并且尽管资源消耗低，其表现仍可与最著名的资源密集型分布相似性和基于知识的词关联度量相媲美。我们调查了这种性能提升的来源，发现两种类型的显著共现（语料库级和文档级）中，语料库级显著性概念结合使用文档计数代替词计数是观察到所有性能增益的原因。文档级显著性概念对 PMI 的适配没有帮助。
引用
@article{arxiv.1307.0596,
title = {Improving Pointwise Mutual Information (PMI) by Incorporating Significant Co-occurrence},
author = {Om P. Damani},
journal= {arXiv preprint arXiv:1307.0596},
year = {2013}
}
备注
To appear in the proceedings of 17th Conference on Computational Natural Language Learning, CoNLL 2013