使预训练语言模型成为良好的长尾学习者
计算与语言
2022-10-11 v2 机器学习
摘要
提示微调（prompt-tuning）凭借其在有效利用预训练知识方面的能力，在少样本分类中展现出引人注目的性能。这促使我们验证如下假设：提示微调也是长尾分类的一个有前景的选择，因为尾类直观上是少样本类。为实现此目的，我们进行了实证研究以检验该假设。结果表明，提示微调使预训练语言模型至少成为良好的长尾学习者。为直观理解提示微调为何能在长尾分类中取得良好性能，我们通过逐步弥合提示微调与常用微调之间的差距进行了深入分析。总结是，与较不重要的输入结构相比，分类器结构与参数化形式是成为良好长尾学习者的关键。最后，我们验证了我们的发现对少样本分类的适用性。良好的长尾学习者可缩写为Glee。
引用
@article{arxiv.2205.05461,
title = {Making Pretrained Language Models Good Long-tailed Learners},
author = {Chen Zhang and Lei Ren and Jingang Wang and Wei Wu and Dawei Song},
journal= {arXiv preprint arXiv:2205.05461},
year = {2022}
}
备注
15 pages, 4 figures, 10 tables, accepted to EMNLP 2022. Code is available at https://github.com/GeneZC/Glee