BigExcel:用于探索社会科学大数据的 Web 框架
分布式、并行与集群计算
2016-11-17 v1
摘要
本文指出,为了促进非计算机学科对大数据技术的采用,需要克服三个基本挑战:解决非计算机科学家对此类技术的可访问性问题,支持以最小努力对大型数据集进行即席探索,以及提供用于快速简便分析的轻量级 Web 框架。在本文中,我们通过开发'BigExcel'来应对上述三个挑战,这是一个用于探索大数据的三层 Web 框架,旨在促进用户与大型数据集的交互管理、构建用于探索数据集的查询以及基础设施管理。BigExcel 的可行性通过两个 Yahoo Sandbox 数据集得到了验证。第一个数据集是 Yahoo Buzz Score 数据集,我们用于定量预测流行技术;第二个是 Yahoo n-gram 语料库,我们用于定性推断重要事件的覆盖范围。BigExcel 框架的演示和源代码可在 http://bigdata.cs.st-andrews.ac.uk/projects/bigexcel-exploring-big-data-for-social-sciences/ 获取。
引用
@article{arxiv.1411.1215,
title = {BigExcel: A Web-Based Framework for Exploring Big Data in Social Sciences},
author = {Muhammed Asif Saleem and Blesson Varghese and Adam Barker},
journal= {arXiv preprint arXiv:1411.1215},
year = {2016}
}
备注
8 pages