网络爬虫技术在学术文章搜索引擎中的应用
信息检索
2014-10-22 v1
摘要
搜索引擎是由特定公司通过既定网站提供的硬件与计算机软件的组合。搜索引擎通过定期爬取网络的机器人或网络爬虫从网络收集信息。从现有网站检索信息的过程称为“网络爬虫”(web scraping)。网络爬虫是一种从网站提取信息的技术。网络爬虫与网络索引密切相关；至于如何开发网络爬虫技术，方法是首先研究目标网站程序制作者的 HTML 文档，以获取 HTML 标签中包围的信息，旨在让程序制作者学习该网站上的导航技术后，将收集到的信息应用于模仿我们将创建的爬虫的网络应用程序。还需注意的是，本文的实现仅涉及免费搜索引擎的爬虫，例如：Garuda 门户、印尼科学期刊数据库 (ISJD) 和 Google Scholar。
引用
@article{arxiv.1410.5777,
title = {Penerapan teknik web scraping pada mesin pencari artikel ilmiah},
author = {Ahmad Josi and Leon Andretti Abdillah and Suryayusra},
journal= {arXiv preprint arXiv:1410.5777},
year = {2014}
}
备注
6 pages, Jurnal Sistem Informasi (SISFO), vol. 5, 2014