熵、热力学与语言模型的几何化

在本文中，我们讨论了如何应用纯数学和理论物理来研究语言模型。使用集合论和分析，我们为语言模型提供了数学严格的定义，引入了语言模型分布势空间的概念。我们使用函数分析和拓扑学提出了分布性假设的通用形式。我们定义了与语言模型相关的熵函数，并展示了它如何帮助我们理解语言中的许多有趣现象。我们认为，熵函数的零点以及熵接近零的点是 LLM 逼近智能语言模型的关键障碍，这解释了为何优秀的 LLM 需要数十亿参数。使用熵函数，我们提出了关于 AGI 的一个猜想。随后，我们展示了热力学如何为语言模型提供即时的解释。特别是，我们将定义语言模型的分配函数、内能和自由能，这些概念为我们理解语言模型的工作方式提供了见解。基于这些结果，我们引入了语言模型几何化的通用概念，定义了称为玻尔兹曼流形的概念。虽然当前的 LLM 是玻尔兹曼流形的特例。