中文

BayesSummaryStatLM:用于大数据与数据科学的贝叶斯线性模型 R 包

应用统计 2015-04-27 v2 统计计算

摘要

数据科学和大数据研究的最新进展产生了大量数据集,由于计算机内存或存储容量的限制,这些数据集过于庞大而无法被整体分析。在此,我们介绍了我们的 R 包“BayesSummaryStatLM”,用于带有马尔可夫链蒙特卡洛实现的贝叶斯线性回归模型,克服了这些限制。我们的贝叶斯模型仅使用数据的摘要统计量作为输入;这些摘要统计量可以从大数据的子集计算并在子集间合并。因此,完整数据集不需要全部读入内存,这消除了用户的任何物理内存限制。我们的包集成了 R 包“ff”及其用于分块读取大数据集同时计算摘要统计量的函数。我们描述了我们的贝叶斯线性回归模型,包括针对未知模型参数的几种先验分布选择,并使用模拟和真实数据集展示了我们 R 包的功能与特性。

关键词

引用

@article{arxiv.1503.00635,
  title  = {BayesSummaryStatLM: An R package for Bayesian Linear Models for Big Data and Data Science},
  author = {Alexey Miroshnikov and Evgeny Savel'ev and Erin M. Conlon},
  journal= {arXiv preprint arXiv:1503.00635},
  year   = {2015}
}

备注

Updated URL in reference [12]; added to description of zero.intercept on p. 11; added minor clarifications throughout; results unchanged