大数据中小概率事件的重要性：信息度量、应用与挑战
信息论
2024-04-08 v2 math.IT
统计理论
统计理论
摘要
在智慧城市的许多应用（如异常检测与安全系统）中，由物联网（IoT）收集的大数据总信息的重要性由稀有事件主导。亦即，探索海量数据少数子集中涉及的稀有事件的相关有价值信息极为关键。为此，如何从信息论角度有效度量具重要性的小概率事件信息是一个基本问题。本文首先综述关于重要性度量的若干理论与模型，并研究主观或语义重要性与大数据中稀有事件的关系。此外，从信息度量视角讨论了消息处理与数据分析的一些应用。另外，基于稀有事件检测，介绍了信息度量相关的若干开放挑战，如智慧城市、自动驾驶与物联网中的异常检测，可作为未来研究方向。
引用
@article{arxiv.1907.02652,
title = {Importance of Small Probability Events in Big Data: Information Measures, Applications, and Challenges},
author = {Rui She and Shanyun Liu and Shuo Wan and Ke Xiong and Pingyi Fan},
journal= {arXiv preprint arXiv:1907.02652},
year = {2024}
}