SocialX:一个用于印度尼西亚多源大数据研究的模块化平台
计算与语言
2026-03-30 v1
摘要
印度尼西亚的大数据研究受到根本性碎片化的制约:相关数据分散在社交媒体、新闻门户、电子商务平台、评论网站和学术数据库中,每种数据具有不同的格式、访问方式和噪声特征。研究人员必须独立构建采集流水线、清洗异构数据并组装独立的分析工具,这一过程往往掩盖了研究本身。我们提出 SocialX,一个用于多源大数据研究的模块化平台,集成了异构数据收集、语言感知预处理和可插拔分析,形成统一的、与数据源无关的流水线。该平台将关注点分离为三个独立层(收集、预处理和分析),通过轻量级任务协调机制连接。这种模块化使每一层可以独立增长:新的数据源、预处理方法或分析工具可以在不修改现有流水线的情况下添加。我们描述了实现这种可扩展性的设计原则,详细说明了处理印度尼西亚文本跨语域挑战的预处理方法,并通过典型研究流程的演示展示了平台的实用性。SocialX 以基于网页的平台形式公开发布,地址为 https://www.socialx.id。
引用
@article{arxiv.2603.26253,
title = {SocialX: A Modular Platform for Multi-Source Big Data Research in Indonesia},
author = {Muhammad Apriandito Arya Saputra and Andry Alamsyah and Dian Puteri Ramadhani and Thomhert Suprapto Siadari and Hanif Fakhrurroja},
journal= {arXiv preprint arXiv:2603.26253},
year = {2026}
}
备注
10 pages, 1 Figure, 4 Tables