关于混合离散与连续变量的熵

设 $X$ 为一个支撑集 $S$ 上的离散随机变量，且 $f : S \to S'$ 为一个双射。则众所周知，$X$ 的熵与 $f(X)$ 的熵相同。这种熵保护性质已被广泛用于建立离散随机过程（如排队系统）的非平凡性质。熵及其保护性质仅在纯离散或连续随机变量的语境下才有明确定义。然而，对于许多有趣的情形中出现的离散与连续随机变量的混合体，熵及其保护性质的概念尚未得到良好理解。本文自然地扩展了混合对随机变量的熵概念，即一个包含一个离散变量和另一个连续变量的随机变量对。我们的扩展与熵的现有定义一致，即存在从离散或连续随机变量自然嵌入到混合对随机变量的映射，使得它们的熵保持相同。这种熵的扩展使我们能够获得混合离散与连续随机变量在双射情形下熵保护的充分条件。扩展后的熵定义导致了连续时间马尔可夫链的熵率。作为一个应用，我们恢复了与泊松过程相关的已知概率结果。我们强烈相信本文所发展的框架在建立复杂系统（如负载平衡系统、排队网络、缓存算法）的概率性质方面具有应用价值。