半语义信道原理：衡量 LLM 沟通中意义的容量

本文提出了一种新型半语义框架，用于分析大型语言模型（LLM），将其概念化为其输出需要主动、非对称人类解释的随机半语义引擎。我们使用信息论工具形式化了表达丰富性（半语义广度）与解释稳定性（可解读性）之间的权衡。广度以源熵来量化，可解读性以人类解释与信息之间的互信息来度量。我们引入一个生成复杂度参数（lambda），该参数支配这种权衡，因为广度和可解读性都是 lambda 的函数。该核心权衡被建模为其不同对 lambda 响应的一种涌现属性。我们定义以观众和情境为参数的半语义信道，并提出对意义传递的容量约束，操作性地定义为通过优化 lambda 来实现最大可解读性。这一重新框架将分析从不透明的模型内部转向可观察的文本制品，使对广度和可解读性的实证测量成为可能。我们展示了该框架在四个关键应用中的实用性：（i）模型轮廓化；（ii）优化提示/上下文设计；（iii）基于歧义的风险分析；（iv）自适应半语义系统。我们得出结论，该容量方法的半语义方法为理解、评估和设计 LLM 中介沟通提供了一种严谨、可操作的工具套件。