状态变异挖掘：大数据中基于消息重要度的信息散度
信息论
2024-04-08 v3 math.IT
统计理论
应用统计
统计理论
摘要
揭示变量状态变异的信息传输在大数据分析与处理中通常起着至关重要的作用。实际上，信息传输的度量可利用变量分布反映系统变化，类似于 KL 散度与 Renyi 散度。此外，就大数据中的信息传输而言，小概率事件往往在某种程度上主导了总体消息的重要度。因此，设计一种强调小概率事件的、基于消息重要度的信息传输度量具有重要意义。本文提出一种消息重要度传输度量（MITM），并研究其在三个方面的特性与应用。首先，给出基于 MITM 的消息重要度传输容量，为受扰信息传输过程提供上界。其次，将 MITM 推广至连续情形，并借助其度量信息距离来讨论鲁棒性。最后，利用 MITM 指导移动边缘计算缓存操作中的队列长度选择。
引用
@article{arxiv.1801.04064,
title = {State Variation Mining: On Information Divergence with Message Importance in Big Data},
author = {Rui She and Shanyun Liu and Pingyi Fan},
journal= {arXiv preprint arXiv:1801.04064},
year = {2024}
}
备注
6 pages, 5 figures