基于子空间学习的黑盒提示调优
计算与语言
2024-06-18 v2 人工智能
摘要
黑盒提示调优采用无导数优化算法在低维子空间中学习提示，而非通过大语言模型（LLMs）的网络进行反向传播。近期研究表明，黑盒提示调优在任务和 LLMs 之间缺乏通用性，我们认为这与子空间的次优选择有关。在本文中，我们引入基于子空间学习的黑盒提示调优（BSL）以增强黑盒提示调优的通用性。基于相似任务的近似最优提示位于一个公共子空间中的假设，我们提出通过在相似源任务集合上进行元学习来识别此类子空间。因此，对于与源任务相似的目标任务，我们期望在已识别子空间内优化可得到在目标任务上表现良好的提示。实验结果证实，我们的 BSL 框架在各种下游任务和 LLMs 上一致地取得了有竞争力的性能。
引用
@article{arxiv.2305.03518,
title = {Black-box Prompt Tuning with Subspace Learning},
author = {Yuanhang Zheng and Zhixing Tan and Peng Li and Yang Liu},
journal= {arXiv preprint arXiv:2305.03518},
year = {2024}
}