信息检索的热力学
信息论
2011-03-01 v3 计算与语言
社会与信息网络
math.IT
摘要
在本文中,我们针对长英文文本字符串中单词出现的频率,提出了一个参数化统计模型(伽马分布),并通过构造配分函数,利用该模型构建了相应的热力学图景。随后,我们使用配分函数计算了自由能和比热等热力学量。在这种方法中,词频模型的参数因词而异,因此每个词都有不同的对应热力学,我们认为比热的差异反映了单词在语言中用法上的差异,从而将关键词与普通词及功能词区分开来。最后,我们将该热力学图景应用于基于关键词的文本检索问题,并指出了其相对于传统信息检索方法的一些优势。
引用
@article{arxiv.0903.2792,
title = {Thermodynamics of Information Retrieval},
author = {Kostadin Koroutchev and Jian Shen and Elka Koroutcheva and Manuel Cebrian},
journal= {arXiv preprint arXiv:0903.2792},
year = {2011}
}
备注
12 pages, 7 figures