无均值特征：上下文压缩的简单而强大的基线

上下文压缩通过用较短的预计算表示取代长度较长的输入来降低 Transformer 推理成本。这一技术为检索增强生成 (RAG) 带来了显著益处，并吸引了日益增长的研究关注。然而，由于评估不一致且基线方法不统一，进展难以衡量。我们设计了一个标准且易于复现的评估套件 BenchPress，以及用于英文阅读理解的简单高性能基线。BenchPress 支持跨模型规模、数据集、压缩比率以及从短 ($<1K$ token) 到中等 ($<8K$ token) 上下文的基准测试。虽然该套件适用于任何压缩范式，但我们的基线针对软上下文压缩。我们建立了两个简单且强大的基线，显著优于广泛使用的因果压缩-标记方法：均值池化和双向压缩-标记变体。我们的结果表明，在计算压缩表示时使用双向注意力的好处，简单池化也是一种具有表达力的压缩算子。