压缩方法决定一切：LLM 提示压缩中的基准依赖输出动态
摘要
提示压缩通常通过 input-token 减少来评估，但其实际部署影响取决于压缩如何影响输出长度和总推理成本。我们对基准依赖的输出动态在激进压缩下的表现进行了受控的复制与延伸研究，覆盖 5,400 次 API 调用，涵盖三个基准和多个 provider。为解释先前观察到的冲突，我们形式化化了 instruction survival probability（Psi），该度量捕捉 task-critical prompt segments 在截断后是否保留的结构。结果显示出强烈的基准效应：在 r=0.3 下，DeepSeek 在 MBPP 上表现出严重的输出扩张（56 倍，Psi 约 0.15），但在 HumanEval 上表现出显著较低的扩张（5 倍，Psi 约 0.72），而 GPT-4o-mini 在各基准之间相对稳定。这帮助我们解释了之前报告的极端爆炸与较低复制效应之间的表面矛盾，确定 prompt structure（而非 provider identity）作为主要调节因素。我们引入了 Compression Robustness Index（CRI）用于跨基准评估，表明单基准评估可能对压缩的安全性和效率产生误导性结论。为 contextualize 能源主张，我们整合了来自租赁 RunPod GPU 的 companion direct NVML 测量，显示 token 节省可能会高估 joule 节省。这激励了进行多样化基准测试和结构感知压缩策略，以实现可靠、能源导向的 LLM 部署。
引用
@article{arxiv.2603.23527,
title = {Compression Method Matters: Benchmark-Dependent Output Dynamics in LLM Prompt Compression},
author = {Warren Johnson},
journal= {arXiv preprint arXiv:2603.23527},
year = {2026}
}
备注
19 pages. Includes figures and tables. Companion code/data repository and direct NVML calibration dataset are cited in manuscript