大语言模型提示压缩的基本极限：面向黑盒模型的率失真框架

我们形式化了针对大型语言模型（LLM）的提示压缩问题，并提出了一种框架来统一创建针对黑盒模型的硬提示压缩方法。我们推导了该设置下的失真-率函数，提供了一种高效算法通过求解线性规划的对偶形式来计算这一基本极限。我们以失真-率函数为基准，研究了现有压缩方案在由马尔可夫链生成的提示、自然语言查询及其相应答案构成的合成数据集上的性能。我们的实证分析表明查询感知提示压缩的关键性，即压缩器对黑盒 LLM 的下游任务/查询具有了解。我们指出当前提示压缩方法与最优策略之间存在较大差距，并提出了自适应查询选择（Adaptive QuerySelect）——一种查询感知、可变速率的先前工作改进方案，以缩小这一差距。我们将实验扩展到小型自然语言数据集，以进一步确认在合成数据集上的我们的发现。