基于元梯度正则化的自监督元提示学习用于少样本泛化
计算与语言
2023-10-24 v4 机器学习
摘要
提示调优是一种参数高效方法，其学习软提示并条件化冻结语言模型以执行特定下游任务。尽管有效，少样本设置下的提示调优一方面严重依赖软提示的良好初始化，另一方面易过拟合于少样本训练样本，从而损害泛化性。现有工作利用预训练或有监督元学习来初始化软提示，但无法以数据高效方式泛化至未见下游任务。为解决上述问题，本文提出一种新颖的带元梯度正则化的自监督元提示学习框架用于少样本泛化(SUPMER)。SUPMER利用自监督元学习与一组多样且精心设计的元训练任务，学习通用的提示初始化，以仅使用无标签数据实现高效适配。此外，它联合元学习一个梯度正则化函数，将原始梯度转换为域可泛化方向，从而缓解过拟合问题。大量实验表明，SUPMER在不同少样本下游任务上取得更优性能，并展现出更强的域泛化能力。SUPMER的代码将发布于 https://github.com/beepkh/SUPMER。
引用
@article{arxiv.2303.12314,
title = {Self-supervised Meta-Prompt Learning with Meta-Gradient Regularization for Few-shot Generalization},
author = {Kaihang Pan and Juncheng Li and Hongye Song and Jun Lin and Xiaozhong Liu and Siliang Tang},
journal= {arXiv preprint arXiv:2303.12314},
year = {2023}
}
备注
Accepted by EMNLP 2023 (Findings)