香浪信息论的语义泛化及其应用

语义通信是否需要类似香浪信息论的语义信息理论，抑或可将香浪工作泛化以适用于语义通信？本文主张后者，提出香浪信息论的语义泛化（G 理论）。核心思想是以语义约束取代失真约束，通过 truth functions 集合构建语义信道。这些 truth functions 使得语义失真、语义信息度量和语义信息损失得以表达。值得注意的是，最大语义信息准则等价于最大似然准则，且类似于正则化最小二乘准则。本文展示了 G 理论在日常语义通信、电子语义通信、机器学习、约束控制、贝叶斯确认、投资组合理论和信息价值等领域的应用。机器学习方法的改进涉及多标签学习、最大互信息分类、混合模型和潜变量求解。进一步讨论了统计物理学中的洞见：香浪信息类似于自由能；语义信息类似于局部平衡系统中的自由能；信息效率类似于自由能执行功的效率。本文还提出将 Friston 的最小自由能原则细化为最大信息效率原则。最后，本文与其他语义信息理论比较并讨论其在表示复杂数据语义方面的局限性。