PrisCrawler:一种面向公告板自动数据分类的相关性爬虫
信息检索
2016-11-17 v1
摘要
如今人们意识到在公告板上简单快速地查找信息很困难。为解决此问题,人们提出了公告板搜索引擎的概念。本文描述了priscrawler系统,它是公告板搜索引擎的一个子系统,能够自动爬取公告板上的分类附件并为其添加相关性。Priscrawler利用Attachrank算法生成网页与附件之间的相关性,然后将公告板转化为清晰分类和关联的数据库,从而极大简化附件搜索。此外,它还能有效降低预处理子系统和检索子系统的复杂度,并提高搜索精度。我们提供了实验结果来证明priscrawler的有效性。
引用
@article{arxiv.0909.2489,
title = {PrisCrawler: A Relevance Based Crawler for Automated Data Classification from Bulletin Board},
author = {Pu Yang and Jun Guo and Weiran Xu},
journal= {arXiv preprint arXiv:0909.2489},
year = {2016}
}
备注
published in GCIS of IEEE WRI '09