面向大数据流的在线更新 Huber 稳健回归
统计方法学
2023-06-29 v2
摘要
随着现代科学与信息技术的发展，大数据流正受到越来越多的关注。由于有限计算机内存与高容量流数据的不可兼容，无需存储历史数据的实时方法值得研究。此外，高速数据流生成时可能出现离群值，要求进行更稳健的分析。受这些考量驱动，本文提出一种新颖的在线更新 Huber 稳健回归（Online Updating Huber Robust Regression）算法。通过提取新数据子集的关键特征，该算法在不存储历史数据的情况下获得计算高效的在线更新估计量。同时，通过将 Huber 回归整合进框架，该估计量对受污染数据流（如重尾或异质分布的数据流以及含离群值情形）稳健。此外，所提在线更新估计量与由全数据获得的 Oracle 估计量渐近等价，且计算复杂度更低。亦开展了大量数值模拟与真实数据分析，以评估所提方法的估计与计算效率。
关键词
引用
@article{arxiv.2209.01718,
title = {Online Updating Huber Robust Regression for Big Data Streams},
author = {Chunbai Tao and Shanshan Wang},
journal= {arXiv preprint arXiv:2209.01718},
year = {2023}
}
备注
25 pages, 5 figures, 2023 JONIT CONFERENCE ON STATISTICS AND DATA SCIENCE IN CHINA