语义通信的数学理论

1948 年见证了经典信息论（CIT）诞生的历史性时刻。在 CIT 的指导下，现代通信技术已逼近理论极限，如熵函数 $H(U)$、信道容量 $C=\max_{p(x)}I(X;Y)$ 和率失真函数 $R(D)=\min_{p(\hat{x}|x):\mathbb{E}d(x,\hat{x})\leq D} I(X;\hat{X})$。语义通信为未来通信技术开辟了新方向，但缺乏指导理论。在本文中，我们尝试建立语义信息论（SIT）的系统性框架。我们研究了语义通信的行为，发现同义是基本特征，因此我们定义了语义信息与语法信息之间的同义映射。源于这一核心概念——同义映射 $f$，我们引入了语义信息的度量，如语义熵 $H_s(\tilde{U})$、上/下语义互信息 $I^s(\tilde{X};\tilde{Y})$ $(I_s(\tilde{X};\tilde{Y}))$、语义容量 $C_s=\max_{f_{xy}}\max_{p(x)}I^s(\tilde{X};\tilde{Y})$ 以及语义率失真函数 $R_s(D)=\min_{\{f_x,f_{\hat{x}}\}}\min_{p(\hat{x}|x):\mathbb{E}d_s(\tilde{x},\hat{\tilde{x}})\leq D}I_s(\tilde{X};\hat{\tilde{X}})$。此外，我们利用随机编码和（联合）典型解码/编码证明了 SIT 的三个编码定理，即语义信源编码定理、语义信道编码定理和语义率失真编码定理。我们发现，使用同义映射扩展了 SIT 的极限，即 $H_s(\tilde{U})\leq H(U)$、$C_s\geq C$ 且 $R_s(D)\leq R(D)$。所有这些工作构成了语义信息论的基础。此外，我们讨论了连续情况下的语义信息度量。对于带限高斯信道，我们得到了一个新的信道容量公式 $C_s=B\log\left[S^4\left(1+\frac{P}{N_0B}\right)\right]$。