POUF：面向提示的无监督微调用于大型预训练模型
机器学习
2023-05-02 v1 人工智能
计算与语言
计算机视觉与模式识别
机器学习
摘要
通过提示，大规模预训练模型变得更具表达力与威力，近年来备受关注。尽管这些大模型具备零样本能力，但通常仍需要标注数据将其适配到下游任务。为克服这一关键局限，我们提出一种无监督微调框架，直接在无标注目标数据上微调模型或提示。我们展示了如何通过对齐从提示与目标数据提取的离散分布，将我们的方法应用于语言增强视觉与掩码语言模型。为验证我们方法的适用性，我们在图像分类、情感分析与自然语言推理任务上进行了大量实验。在 13 个图像相关任务与 15 个语言相关任务上，所提方法相较基线取得了一致提升。
引用
@article{arxiv.2305.00350,
title = {POUF: Prompt-oriented unsupervised fine-tuning for large pre-trained models},
author = {Korawat Tanwisuth and Shujian Zhang and Huangjie Zheng and Pengcheng He and Mingyuan Zhou},
journal= {arXiv preprint arXiv:2305.00350},
year = {2023}
}
备注
ICML 2023; PyTorch code is available at https://github.com/korawat-tanwisuth/POUF