有意义通信的信息论
计算与语言
2025-08-13 v1 信息论
math.IT
摘要
在 Shannon 的开创性论文中，被视为平稳随机过程的书面英语的熵被估计为每字符约 1 比特。然而，作为通信手段，语言与其书面形式有很大不同： 信息的单位不是字符甚至不是单词，而是子句，即最短的有意义言语部分； 所传输的主要是所说或所写内容的意义，而用于传达该意义的精确措辞通常被忽略。在本研究中，我们表明可以利用近期开发的大型语言模型，以每子句的意义比特数来量化有意义叙事中所传达的信息。
引用
@article{arxiv.2411.12728,
title = {Information Theory of Meaningful Communication},
author = {Doron Sivan and Misha Tsodyks},
journal= {arXiv preprint arXiv:2411.12728},
year = {2025}
}