中文

信息检索的热力学

信息论 2011-03-01 v3 计算与语言 社会与信息网络 math.IT

摘要

在本文中,我们针对长英文文本字符串中单词出现的频率,提出了一个参数化统计模型(伽马分布),并通过构造配分函数,利用该模型构建了相应的热力学图景。随后,我们使用配分函数计算了自由能和比热等热力学量。在这种方法中,词频模型的参数因词而异,因此每个词都有不同的对应热力学,我们认为比热的差异反映了单词在语言中用法上的差异,从而将关键词与普通词及功能词区分开来。最后,我们将该热力学图景应用于基于关键词的文本检索问题,并指出了其相对于传统信息检索方法的一些优势。

关键词

引用

@article{arxiv.0903.2792,
  title  = {Thermodynamics of Information Retrieval},
  author = {Kostadin Koroutchev and Jian Shen and Elka Koroutcheva and Manuel Cebrian},
  journal= {arXiv preprint arXiv:0903.2792},
  year   = {2011}
}

备注

12 pages, 7 figures