GPTA：用于与LLM协同增强下游神经网络的生成式提示调优助手
计算与语言
2024-04-02 v1
摘要
本研究介绍了GPTA，一个大型语言模型辅助训练框架，通过前缀提示增强下游任务模型的训练。通过最小化LLM的数据暴露，该框架解决了在下游任务模型训练中应用LLM的安全和法律挑战。GPTA采用了一种新的协同训练方法，用参数梯度优化下游模型，并用新颖的“对话梯度”优化LLM。该框架不仅在六个NLP基准数据集上展示了模型性能的显著提升，而且有效减少了低资源场景下的过拟合。详细分析进一步验证了我们的先驱框架为LLM支持的下游任务模型训练提供了一种成本效益高且自适应的方法。
引用
@article{arxiv.2404.00189,
title = {GPTA: Generative Prompt Tuning Assistant for Synergistic Downstream Neural Network Enhancement with LLMs},
author = {Xiao Liu and Jiawei Zhang},
journal= {arXiv preprint arXiv:2404.00189},
year = {2024}
}
备注
Work in Progress