通过结合大数据与调查样本数据进行有限总体推断的数据整合
统计方法学
2020-06-19 v3
摘要
利用大数据对有限总体做出有效统计推断所面临的统计挑战已在文献中被充分记载。这些挑战主要源于大数据源对目标总体代表性的覆盖不足所产生的统计偏差，以及数据集中可用变量的测量误差。通过将总体划分为大数据层与缺失数据层，我们可以利用完全响应的概率样本估计缺失数据层，从而借助数据整合估计量估计总体整体。通过将数据整合估计量表述为回归估计量，我们可处理大数据及概率样本中变量的测量误差。我们还提出了一种完全非参数的分类方法以辨识重叠单元，并在误分类误差下发展了偏差校正的数据整合估计量。最后，我们发展了两步回归数据整合估计量以处理概率样本中的测量误差。本文所倡导方法的一个优势在于，无需为使方法成立而做出不现实的随机缺失假设。所提方法被应用于使用2015-16澳大利亚农业普查数据的真实数据实例。
引用
@article{arxiv.2003.12156,
title = {Data Integration by combining big data and survey sample data for finite population inference},
author = {Jae-kwang Kim and Siu-Ming Tam},
journal= {arXiv preprint arXiv:2003.12156},
year = {2020}
}