语言上下文表示中类似湍流的5/3谱标度
计算与语言
2026-04-08 v1 人工智能
摘要
自然语言是一种表现出稳健统计规律的复杂系统。本文将文本表示为由基于transformer的语言模型生成的高维嵌入空间中的轨迹，并通过嵌入步骤信号对token序列上的尺度依赖波动进行量化。跨越多个语言和语料库，得到的功率谱在扩展频率范围内呈现出接近的幂律指数。这一标度在人类撰写和AI生成文本的上下文嵌入中均一致观察到，但在静态词嵌入中不存在，且被随机化token顺序所破坏。这些结果表明，所观察到的标度反映了跨尺度、依赖上下文的组织，而不仅仅是词汇统计。类比于湍流中的Kolmogorov谱，我们的发现表明，语义信息以无尺度、自相似的方式跨语言尺度进行整合，并为研究语言表示中复杂结构提供了一个量化、模型无关的基准。
引用
@article{arxiv.2604.05536,
title = {Turbulence-like 5/3 spectral scaling in contextual representations of language as a complex system},
author = {Zhongxin Yang and Chun Bao and Yuanwei Bin and Xiang I. A. Yang and Shiyi Chen},
journal= {arXiv preprint arXiv:2604.05536},
year = {2026}
}