基于随机梯度的估计量的渐近性质与有限样本性质

随机梯度下降程序在从大数据集进行参数估计方面已广受欢迎。然而，其统计性质在理论上尚未被充分理解；而在实践中，为避免数值不稳定性需要对关键参数进行仔细调节。在此，我们引入了隐式随机梯度下降程序，其参数更新是隐式定义的。直观上，隐式更新会对标准随机梯度下降更新进行收缩。收缩量取决于观测 Fisher 信息矩阵，而该矩阵无需显式计算；因此，隐式程序在不增加计算负担的情况下提高了稳定性。我们的理论分析首次完整刻画了基于标准及隐式随机梯度下降的估计量的渐近行为，包括有限样本误差界。重要的是，这些基于随机梯度的估计量方差的解析表达式揭示了其效率的确切损失。我们还开发了新算法，用于在实际中计算针对广义线性模型、Cox 比例风险模型及 M-估计量的基于隐式随机梯度下降的估计量，并进行了广泛的实验。我们的结果表明，隐式随机梯度下降程序有望成为从大数据集进行近似推断的主力工具。