StablePT：面向少样本学习的稳定提示技术
计算与语言
2024-10-04 v2
摘要
大型语言模型已展现出有效的少样本学习能力，通过提示方式实现了数据稀缺情境下的学习范式的革命性变革。然而，这种方法在很大程度上依赖于提示初始化的质量，并且在不同运行之间始终表现出巨大的变异性。这种特性使得提示调谐高度不可靠且容易受到 poorly constructed 提示的影响，从而限制了其在更实际应用场景中的扩展。为解决此问题，我们提出将硬提示和软提示视为独立的输入，以减轻提示初始化带来的噪声。此外，我们通过对比学习优化软提示，利用训练过程中基于类的信息以维持模型性能。实验结果表明，\sysname 在准确率上比最先进的方法高出 6.97%，平均标准差降低 1.92。此外，广泛的实验强调其在覆盖多种任务的 8 个数据集上的鲁棒性和稳定性。代码已公开于 https://github.com/lccc0528/Stable/tree/main。
引用
@article{arxiv.2404.19335,
title = {StablePT: Towards Stable Prompting for Few-shot Learning via Input Separation},
author = {Xiaoming Liu and Chen Liu and Zhaohan Zhang and Chengzhengxu Li and Longtian Wang and Yu Lan and Chao Shen},
journal= {arXiv preprint arXiv:2404.19335},
year = {2024}
}
备注
EMNLP 2024 Findings