使用专用 Web 爬虫在搜索引擎数据库中存储更优结果
信息检索
2013-05-14 v1
摘要
基于爬虫的搜索引擎是 Web 和互联网用户最常使用的搜索引擎，涉及 Web 爬取、数据库存储、排序、索引及向用户展示。但值得注意的是，由于网站的不断变化，搜索引擎在每次爬取操作中检查每个页面在数据库中是否存在、更新数据库甚至检查其存在性时，耗费了大量的时间和传输成本。“专用 Web 爬虫”提出了针对特征、链接、媒体及其他元素的爬取指南，并将爬取结果存储在 Web 上其数据库中的特定表中。由此，搜索引擎将每个站点的表存储在其数据库中，并基于这些表执行排序结果。因此，确保了每个表中数据的准确性（及其时效性），且搜索结果中不会出现 404 结果，因为事实上该数据爬虫爬取的是网站管理员输入的数据，数据库存储的是其想要展示的内容。
引用
@article{arxiv.1305.2686,
title = {Using Exclusive Web Crawlers to Store Better Results in Search Engines' Database},
author = {Ali Tourani and Amir Seyed Danesh},
journal= {arXiv preprint arXiv:1305.2686},
year = {2013}
}
备注
8pages, 6figures