从社交媒体源摄取高速流图数据
数据库
2019-05-22 v1 机器学习
社会与信息网络
摘要
许多数据科学应用（如社交网络分析）使用图作为其首要数据形式。然而，从社交媒体获取图结构数据存在一些有趣的挑战。第一个挑战是社交媒体数据的高数据速率与突发性。第二个挑战是数据的复杂性使得摄取过程代价高昂。若要将流图数据存储于图数据库中，我们面临第三个挑战——该数据库常常无法维持高速、高突发数据的摄取。我们开发了一种自适应缓冲机制与一种图压缩技术，有效缓解了该问题。我们方法的新颖之处在于，自适应缓冲算法利用数据速率、数据内容以及数据库机器的CPU资源来确定最优的数据摄取机制。我们进一步表明，摄取时图压缩策略提升了数据入库的效率。我们通过大量实验验证了该摄取优化策略的有效性。
引用
@article{arxiv.1905.08337,
title = {Ingesting High-Velocity Streaming Graphs from Social Media Sources},
author = {Subhasis Dasgupta and Aditya Bagchi and Amarnath Gupta},
journal= {arXiv preprint arXiv:1905.08337},
year = {2019}
}