学习以自然语言格式压缩提示
计算与语言
2024-04-03 v2 人工智能
机器学习
摘要
大型语言模型（LLMs）擅长处理多种自然语言处理任务，但其能力受到长上下文性能不佳、推理速度慢以及计算结果成本高昂的限制。部署具有精确且信息丰富上下文的 LLM 有助于用户更有效且更具成本效益地处理大规模数据集。现有工作依赖于将长提示上下文压缩为软提示（soft prompts）。然而，软提示压缩在不同 LLM（尤其是基于 API 的 LLM）之间的可迁移性方面存在局限。为此，本研究旨在以自然语言形式压缩冗长的提示，同时保持 LLM 的可迁移性。这带来了两个挑战：(i) 自然语言（NL）提示与反向传播不兼容；(ii) NL 提示在施加长度约束方面缺乏灵活性。在本工作中，我们提出了一种自然语言提示封装（Nano-Capsulator）框架，将原始提示压缩为 NL 格式的胶囊提示（Capsule Prompt），同时保持提示的效用和可迁移性。具体而言，为解决第一个挑战，Nano-Capsulator 通过与提出的语义保持损失相互作用的奖励函数进行优化。为解决第二个问题，Nano-Capsulator 通过具有长度约束特征的奖励函数进行优化。实验结果表明，Capsule Prompt 可将原始长度减少 81.4%，推理延迟降低高达 4.5 倍，并节省 80.1% 的预算开销，同时在不同的 LLM 和数据集之间提供可迁移性。
引用
@article{arxiv.2402.18700,
title = {Learning to Compress Prompt in Natural Language Formats},
author = {Yu-Neng Chuang and Tianwei Xing and Chia-Yuan Chang and Zirui Liu and Xun Chen and Xia Hu},
journal= {arXiv preprint arXiv:2402.18700},
year = {2024}
}