梯度上升后训练增强语言模型泛化能力
计算与语言
2023-06-13 v1 人工智能
摘要
本工作中，我们实证表明，用仅几步的梯度上升后训练（GAP）在随机无标注文本语料上更新预训练语言模型（LM，350M、1.3B、2.7B），可增强其在多样NLP任务上的零样本泛化能力。具体而言，我们表明GAP可使LM在12项不同NLP任务上媲美2–3倍更大的LM。我们还表明，在分布外语料上应用GAP带来最可靠的性能提升。我们的发现表明，GAP可成为一种无需任何任务特定微调即可提升LM泛化能力的有前景的方法。
引用
@article{arxiv.2306.07052,
title = {Gradient Ascent Post-training Enhances Language Model Generalization},
author = {Dongkeun Yoon and Joel Jang and Sungdong Kim and Minjoon Seo},
journal= {arXiv preprint arXiv:2306.07052},
year = {2023}
}
备注
ACL 2023 Main Conference (Short Paper)