基于提示蒸馏的自动提示优化
计算与语言
2025-09-09 v2 人工智能
机器学习
摘要
自动提示是为语言模型自动选择优化提示的过程，由于大语言模型（LLM）领域广泛研究推动的提示工程快速发展，该方法正日益流行。本文提出了 DistillPrompt——一种基于大语言模型的新型自动提示方法，它利用训练数据将任务特定信息多阶段地整合到提示中。DistillPrompt 利用蒸馏、压缩和聚合操作来更彻底地探索提示空间。该方法使用 t-lite-instruct-0.1 语言模型，在文本分类和生成任务的不同数据集上进行了测试。结果表明，与现有方法相比，关键指标平均有显著提升（例如，与 Grips 相比，在整个数据集上提升了 20.12%），这使 DistillPrompt 成为自动提示领域中最有效的非梯度方法之一。
引用
@article{arxiv.2508.18992,
title = {Automatic Prompt Optimization with Prompt Distillation},
author = {Ernest A. Dyagin and Nikita I. Kulin and Artur R. Khairullin and Viktor N. Zhuravlev and Alena N. Sitkina},
journal= {arXiv preprint arXiv:2508.18992},
year = {2025}
}