大数据中的 race-DC
统计方法学
2019-11-28 v1
摘要
分而合（DC）策略已在大数据领域被广泛使用。偏差修正在 DC 过程中至关重要，用以有效聚合局部有偏估计量，尤其在数据批数很大时。本文通过残差调整组合估计（race）建立了一种 race-DC。race-DC 适用于各类有偏估计量，包括但不限于线性回归中的 Lasso 估计量、Ridge 估计量和主成分估计量，以及非线性回归中的最小二乘估计量。所得全局估计量在线性模型下严格无偏，在非线性模型中偏差加速减小，且能在数据批数很大时达到理论最优性。此外，race-DC 计算简单，因为它是形式线性回归中的最小二乘估计量。详细的模拟研究表明，所得全局估计量偏差得到显著修正，其表现与 oracle 估计相当且远优于对比方法。
引用
@article{arxiv.1911.11993,
title = {A race-DC in Big Data},
author = {Lu Lin and Jun Lu},
journal= {arXiv preprint arXiv:1911.11993},
year = {2019}
}