Transfer-Prompting：通过双阶段提示优化提升大语言模型的跨任务适应
计算与语言
2025-02-21 v1
摘要
大语言模型（LLMs）在保持高质量响应的同时，面临在 diverse 任务之间实现有效任务适应的挑战。为此，我们引入 Transfer-Prompting，一个旨在增强 LLMs 跨任务适应的两阶段框架。该框架由两个关键组件构成：（1）源提示构建，通过在源任务数据集上细化原始提示生成具有增强泛化能力的源提示；（2）目标提示生成，通过在 task-specific 数据集上微调一组高分源提示来增强目标提示的跨任务适应。在每个优化循环中，参考 LLM 基于历史提示-分数对和任务描述生成候选提示。这些候选提示被迭代细化，同时，评分 LLM 使用本文中提出的多维指标评估其有效性——这是本工作中提供提示质量和任务性能全面评估的新颖贡献。该反馈循环促进持续细化，同时优化提示质量和 task-specific 结果。在 25 个 LLMs（包括 7 个基础模型和 18 个专门模型）上的 9 个 diverse 数据集上的大规模实验表明，Transfer-Prompting 显著提升了 task-specific 性能，凸显了其在 LLMs 中增强跨任务适应的潜力。代码可在 https://github.com/llm172/Transfer-Prompting 获取。
引用
@article{arxiv.2502.14211,
title = {Transfer-Prompting: Enhancing Cross-Task Adaptation in Large Language Models via Dual-Stage Prompts Optimization},
author = {Yupeng Chang and Yi Chang and Yuan Wu},
journal= {arXiv preprint arXiv:2502.14211},
year = {2025}
}
备注
17 pages