支持替代网络存档格式以加速数据到洞察的周期
数字图书馆
2020-05-28 v1 数据库
摘要
WARC 文件格式被网络存档广泛使用，以保存收集的网络内容供未来使用。随着网络存档的快速增长以及将这些存档作为统计和分析研究的大数据源进行重用的兴趣日益增加，将这些数据转化为洞察的速度变得至关重要。在本文中，我们表明 WARC 格式在批处理工作负载中存在显著的性能损失。我们将这些损失的根本原因追溯到其数据结构、编码和寻址方法。然后，我们运行受控实验来说明这些问题有多严重。事实上，只需将 WARC 文件重新格式化为 Parquet 或 Avro 格式，就可以实现一到两个数量级的性能提升。虽然这些结果不一定构成对 Avro 或 Parquet 的认可，但网络存档社区是时候考虑用更高效的网络存档格式替代 WARC 了。
引用
@article{arxiv.2003.14046,
title = {The Case For Alternative Web Archival Formats To Expedite The Data-To-Insight Cycle},
author = {Xinyue Wang and Zhiwu Xie},
journal= {arXiv preprint arXiv:2003.14046},
year = {2020}
}
备注
10 pages, 6 figures