海量数据流中的动态统计推断
统计方法学
2021-11-03 v1
摘要
现代技术进步拓展了需分析由多条无限长时序构成的大规模数据流的应用范围。业界迫切需求能够执行在线推断并持续修正模型以反映底层过程当前状态的统计方法。本文提出一种动态统计推断框架——称为动态追踪与筛选（DTS）——其不仅能对动态统计模型中的底层参数提供准确估计，还能快速识别行为模式偏离多数个体的不规则单条流。具体而言，通过充分利用数据流的序列特征，我们在变系数模型框架下发展了稳健估计方法。该过程自然适应非等距设计点，并随新数据到达更新系数估计而无需存储历史数据。相应地提出了最优平滑参数的数据驱动选择。此外，我们给出了一种为流环境定制的新多重检验过程。所得 DTS 方案能恰当适应时变结构、追踪底层模型变化，从而在个体流呈现不规则行为的时间段保持高检测精度。我们推导了该过程的严格统计保证，并通过模拟研究考察其有限样本表现。我们通过移动健康实例展示所提方法，估计受试者睡眠与体力活动对其情绪产生异常影响的时刻。
引用
@article{arxiv.2111.01339,
title = {Dynamic statistical inference in massive datastreams},
author = {Jingshen Wang and Lilun Du and Changliang Zou and Zhenke Wu},
journal= {arXiv preprint arXiv:2111.01339},
year = {2021}
}