中文

语义密度效应(SDE):单 token 信息量最大化提升 LLM 准确率

计算与语言 2026-04-21 v1 人工智能

摘要

我们提出语义密度效应(SDE):即携带更高语义信息密度的提示在所有主要 LLM 家族中均产生更准确、更聚焦且更少幻觉的输出。SDE 定义为语义负载 token 占比,经冗余和具体性调整后得出。与之前的提示优化技术不同,这些技术通过增加 token(链路思考 Chain of Thought)、复制提示(提示重复 Prompt Repetition)或重新排序组件(指令放置效应 Instruction Placement Effect)来提升性能,而SDE通过删除或替换低信息 token 来实现性能提升,同时保持或加强语义信号。我们在五个前沿模型和七个基准测试上进行评估,超密集提示(SDE > 0.80)比稀释提示平均提升8.4个百分点,且无需额外 token 且无延迟开销。结合指令放置效应(IPE),提升幅度可达+11.7个百分点。

关键词

引用

@article{arxiv.2604.17659,
  title  = {Semantic Density Effect (SDE): Maximizing Information Per Token Improves LLM Accuracy},
  author = {Amr Ahmed},
  journal= {arXiv preprint arXiv:2604.17659},
  year   = {2026}
}