中文

电报英语:基于结构化符号重写的语义提示压缩

计算与语言 2026-05-07 v1

摘要

我们引入了 Telegraph English (TE),这是一种将自然语言重写为富含符号且具有形式化结构方言的提示压缩协议。与 LLMLingua-2 等通过训练分类器以固定比例删除低重要性词元的词元删除方法不同,TE 执行完整的语义重写:它将输入分解为原子事实行,用约 40 个逻辑和关系符号替换冗长短语,并使压缩率自适应于每个文档的信息密度。行结构规则的一个结果是,压缩与语义分块变成了同一操作——每一输出行均为一个可独立寻址的事实,因此压缩后的表示同时也是语义索引。我们在 LongBench-v2 的 4,081 个问答对上,跨五个 OpenAI 模型和两个难度级别对 TE 进行了评估。在约 50% 的词元缩减率下,TE 在 GPT-4.1 上对关键事实保持了 99.1% 的准确率,并在所有测试模型和任务上,于匹配压缩率下均优于 LLMLingua-2。这一差距在较小模型上进一步扩大——在细节任务上高达 11 个百分点——这表明显式关系结构能够弥补模型容量的不足。我们发布了语法规范、压缩提示、基准数据和参考实现。

关键词

引用

@article{arxiv.2605.04426,
  title  = {Telegraph English: Semantic Prompt Compression via Structured Symbolic Rewriting},
  author = {Mikhail L. Arbuzov and Sisong Bei and Ziwei Dong and Dmitri Kalaev and Alexey A. Shvets},
  journal= {arXiv preprint arXiv:2605.04426},
  year   = {2026}
}