索引维基数据库：设计与实验

随着互联网使用的迅猛增长，对一种使用简单标记语言编写的特殊文档类型（称为“维基页面”）中的信息搜索已成为一个重要问题。本文描述了用于索引三种语言（俄语、英语和德语）维基文本的软件架构模型，以及软件组件（GATE、词形还原器和Synarcher）之间的交互。倒排文件索引数据库是使用可视化工具DBDesigner设计的。通过示例说明了解析维基百科文本的规则。构建并比较了俄语维基百科（RW）和简单英语维基百科（SEW）的两个索引数据库。RW的规模比SEW高出一个数量级（单词数、词位），尽管发现SEW的页面数量增长率比俄语高14%，并且在五个月期间（2007年9月至2008年2月），SEW词汇表中新词的获取率高出7%。齐普夫定律在俄语和简单英语维基百科上都得到了验证。索引软件的完整源代码以及生成的索引数据库均根据GPL（GNU通用公共许可证）免费提供。