iCrawl：通过集成社交网络与聚焦式网络爬取改善 Web 集合的新鲜度
数字图书馆
2017-07-31 v1 信息检索
摘要
数字人文领域的研究人员和记者需要按需监控、收集和分析有关时事（如埃博拉疫情或乌克兰危机）的最新在线内容。然而，现有的聚焦爬取方法仅考虑主题方面而忽略了时间方面，因此无法获得主题连贯且新鲜的 Web 集合。尤其是社交媒体提供了丰富的最新内容来源，但最先进的聚焦爬虫并未利用这一点。在本文中，通过在一个新颖的集成式聚焦爬虫中无缝集成 Web 和社交媒体，我们解决了为感兴趣的主题收集新鲜且相关的 Web 和社交网络内容的问题。该爬虫在单一系统中收集 Web 和社交媒体内容，并利用最新的社交媒体内容流来引导爬虫。
引用
@article{arxiv.1612.06202,
title = {iCrawl: Improving the Freshness of Web Collections by Integrating Social Web and Focused Web Crawling},
author = {Gerhard Gossen and Elena Demidova and Thomas Risse},
journal= {arXiv preprint arXiv:1612.06202},
year = {2017}
}
备注
Published in the Proceedings of the 15th ACM/IEEE-CS Joint Conference on Digital Libraries 2015