BayesPrompt：通过去偏领域抽象实现大规模预训练语言模型的小样本推理提示
计算与语言
2024-03-21 v3 人工智能
摘要
作为一种基于大规模预训练语言模型（PLMs）的新颖且有效的微调范式，提示微调旨在缩小下游任务与预训练目标之间的差距。尽管提示微调在各类任务中不断取得进展，但这种方法仍存在一个持续的缺陷：提示微调方法无法泛化到特定的小样本模式。从分布分析的角度，我们揭示了该现象背后的内在问题在于PLM中包含的过多概念性知识以及目标下游领域知识的删节，这两者共同导致PLM在通用知识嵌入空间中错误定位了与目标领域对应的知识分布。为此，我们直观地探索以去偏的方式逼近下游任务中未删节的目标领域，然后抽象这些领域以生成具有判别力的提示，从而为PLM提供去模糊的指导。基于这一直觉，我们提出了一种简单而有效的方法，名为BayesPrompt，用于学习包含领域判别信息的提示，以抵抗领域无关知识的干扰。BayesPrompt初步利用已知分布来逼近目标领域的去偏事实分布，并进一步从逼近的分布中均匀采样某些代表性特征，以生成用于PLM的最终提示。我们提供了与领域自适应相关的理论见解。在实验上，我们的方法在基准测试上达到了最先进的性能。
引用
@article{arxiv.2401.14166,
title = {BayesPrompt: Prompting Large-Scale Pre-Trained Language Models on Few-shot Inference via Debiased Domain Abstraction},
author = {Jiangmeng Li and Fei Song and Yifan Jin and Wenwen Qiang and Changwen Zheng and Fuchun Sun and Hui Xiong},
journal= {arXiv preprint arXiv:2401.14166},
year = {2024}
}
备注
Accepted by ICLR2024