是什么让预训练语言模型成为更好的零样本学习器？
计算与语言
2023-05-17 v3 人工智能
摘要
当前零样本场景下提示学习的方法广泛依赖于具有充足人工标注数据的开发集，以事后选择表现最好的提示模板。这并不理想，因为在具有实际相关性的真实零样本场景中，并无标注数据可用。因此，我们提出一种简单而有效的零样本文本分类合理提示模板筛选方法：困惑度选择（Perplexity Selection，Perplection）。我们假设语言差异可用于衡量提示模板的效力，从而开发出一种有依据的基于困惑度的方案，可提前预测提示模板的性能。实验表明，我们的方法在真实零样本设定下带来改进预测性能，且无需任何标注样本。
引用
@article{arxiv.2209.15206,
title = {What Makes Pre-trained Language Models Better Zero-shot Learners?},
author = {Jinghui Lu and Dongsheng Zhu and Weidong Han and Rui Zhao and Brian Mac Namee and Fei Tan},
journal= {arXiv preprint arXiv:2209.15206},
year = {2023}
}
备注
Accepted to ACL2023 main conference