信息度量相似性理论：基于 Shannon 熵的消息重要度度量

在异常检测与安全系统等诸多大数据场景中，稀有事件引起更多关注与兴趣。为从概率视角刻画稀有事件的重要性，消息重要度度量（MIM）作为一种语义分析工具被提出。与 Shannon 熵类似，MIM 在信息处理中具有其特殊功能，其中 MIM 的参数 $\varpi$ 起着至关重要的作用。实际上，参数 $\varpi$ 主导 MIM 的性质，基于此 MIM 具有三个工作区域，对应参数分别满足 $0 \le \varpi \le 2/\max\{p(x_i)\}$、$\varpi > 2/\max\{p(x_i)\}$ 与 $\varpi < 0$。此外，在 $0 \le \varpi \le 2/\max\{p(x_i)\}$ 情形下，MIM 与 Shannon 熵在信息压缩与传输方面存在某些相似性，为信息论提供了新视角。本文首先构建带消息重要度度量的系统模型，并提出消息重要度损失以丰富信息处理策略。进而，我们提出消息重要度损失容量以度量传输中的信息重要性获取。此外，给出消息重要度失真函数以基于消息重要度度量给出信息压缩的上界。另外，研究了受消息重要度损失约束的比特率传输，以拓展 Shannon 信息论的范围。