基于自配置框架的Twitter可扩展链接预测
社会与信息网络
2022-08-23 v1
摘要
链接预测分析对于深入理解社交网络交互与连接背后的事件变得至关重要，尤其是在当前演进且大规模社交网络中。传统链接预测方法在可扩展性和效率方面对大多数大规模社交网络表现不佳。Spark是一个分布式开源框架，可提升大规模社交网络中链接预测的可扩展效率。该框架为用户提供众多可调属性以手动配置应用参数。然而，当应用开始极度扩展时，手动配置会带来性能问题，难以设置且易暴露于人为错误。本文引入一种新颖的自配置框架（SCF），在Spark中提供自主特性，利用XGBoost分类器在应用执行前即时预测并设置最佳配置。SCF在Twitter社交网络上使用三种链接预测应用进行评估：图聚类（GC）、重叠社区发现（OCD）和冗余图聚类（RGD），以评估数据规模变化对Twitter中不同应用的影响。结果表明预测时间减少40%，且资源消耗均衡，充分利用资源，尤其在集群数量和规模有限时。
引用
@article{arxiv.2208.09798,
title = {Scalable link prediction in Twitter using self-configured framework},
author = {Nur Nasuha Daud and Siti Hafizah Ab Hamid and Chempaka Seri and Muntadher Saadoon and Nor Badrul Anuar},
journal= {arXiv preprint arXiv:2208.09798},
year = {2022}
}