重建新闻全文：基于 GDELT 的免费获取
计算与语言
2026-02-03 v2 数据库
信息检索
摘要
新闻数据已成为跨多个领域的重要资源。然而，获取全文新闻语料库仍具有挑战性，主要由于高成本和缺乏免费替代方案。本文提出了一种新型 Python 软件包 (gdeltnews)，通过利用全球事件、语言和语调数据库 (GDELT) Web News NGrams 3.0 数据集，在接近零成本下重建新闻全文。我们的方法将从全球在线新闻中提取的重叠 n-gram 合并，以重建完整文章。我们在来自主要美国新闻机构的 2211 篇文章的基准数据集上对该方法进行了验证，基于 Levenshtein 和 SequenceMatcher 指标，实现了最高达 95% 的文本相似度。我们工具促进了经济预测、计算社会科学、信息科学和自然语言处理应用，使人们能够获得免费且大规模的全文新闻数据。
关键词
引用
@article{arxiv.2504.16063,
title = {Free Access to World News: Reconstructing Full-Text Articles from GDELT},
author = {A. Fronzetti Colladon and R. Vestrelli},
journal= {arXiv preprint arXiv:2504.16063},
year = {2026}
}