PCToolkit：大型语言模型统一即插即用提示压缩工具包

提示压缩是一种高效精简输入提示同时保留关键信息的创新方法。为便于快速启动服务、提供用户友好界面并兼容常用数据集与评估指标，我们推出了提示压缩工具包（PCToolkit）。该工具包是一个统一的即插即用解决方案，用于压缩大型语言模型（LLMs）中的提示，集成了前沿提示压缩器、多样化数据集以及用于全面性能评估的指标。PCToolkit采用模块化设计，通过可移植且用户友好的界面，能够轻松集成新的数据集与指标。本文概述了PCToolkit的核心组件与功能。我们在多种自然语言任务上对PCToolkit中的压缩器进行了评估，包括文本重建、摘要生成、数学问题求解、问答、少样本学习、合成任务、代码补全、布尔表达式、多项选择题及谎言识别。