InfoPrompt：用于自然语言理解的信息论软提示微调方法
计算与语言
2023-06-09 v1 机器学习
机器学习
摘要
软提示微调在广泛的少样本任务中取得了优异性能。然而，提示微调的性能可能对提示的初始化高度敏感。我们还通过实证观察到，常规提示微调方法无法从提示词元中编码和学习充足的任务相关信息。本工作中，我们发展了信息论框架，将软提示微调表述为最大化提示与其他模型参数（或编码表征）之间的互信息。这一新颖视角帮助我们开发了更高效、准确且鲁棒的软提示微调方法InfoPrompt。基于该框架，我们设计了两种新颖的基于互信息的损失函数，以（i）为下游任务发现恰当的提示初始化并从提示词元中学习充足的任务相关信息；（ii）促使预训练语言模型的输出表征更能感知所学提示中捕获的任务相关信息。大量实验验证InfoPrompt能显著加速提示微调的收敛，并优于传统提示微调方法。最后，我们给出形式化理论结果，表明可使用梯度下降类算法训练我们的互信息损失。
引用
@article{arxiv.2306.04933,
title = {InfoPrompt: Information-Theoretic Soft Prompt Tuning for Natural Language Understanding},
author = {Junda Wu and Tong Yu and Rui Wang and Zhao Song and Ruiyi Zhang and Handong Zhao and Chaochao Lu and Shuai Li and Ricardo Henao},
journal= {arXiv preprint arXiv:2306.04933},
year = {2023}
}