非参数消息重要性度量：大数据的存储码设计与传输规划
信息论
2017-10-02 v1 math.IT
统计理论
统计理论
摘要
本文讨论了大数据中的存储和传输问题，并考虑了消息重要性。类似于 Shannon 熵和 Renyi 熵，我们将非参数消息重要性度量 (NMIM) 定义为大数据场景下消息重要性的度量，它可以表征随机事件的不确定性。证明了所提出的 NMIM 能够充分描述大数据的两个关键特征：稀有事件的发现和事件的大规模多样性。基于 NMIM，我们首先提出了一种用于数据存储的有效压缩编码模式，然后讨论了在一些典型信道模型上的信道传输。数值模拟结果表明，使用我们提出的策略在不损失过多消息重要性的情况下占用更少的存储空间，并且最大传输存在增长区域和饱和区域，这有助于设计更好的实际通信系统。
引用
@article{arxiv.1709.10280,
title = {Non-parametric Message Important Measure: Storage Code Design and Transmission Planning for Big Data},
author = {Shanyun Liu and Rui She and Pingyi Fan and Khaled B. Letaief},
journal= {arXiv preprint arXiv:1709.10280},
year = {2017}
}
备注
30 pages one-colunm, 9 figures