PETapter：利用 PET 风格分类头实现模块化少样本参数高效微调
计算与语言
2025-09-18 v1
摘要
少样本学习和参数高效微调（PEFT）对于克服数据稀缺和语言模型规模不断增长的挑战至关重要。这在专业科学领域尤其适用，因为研究人员可能缺乏将高性能语言模型微调到细微任务的专长和资源。我们提出 PETapter，一种将 PEFT 方法与 PET 风格分类头有效结合的新方法，以提升少样本学习能力，同时避免全模型训练通常伴随的显著计算开销。我们在三个已建立的 NLP 基准数据集和一个来自传播学研究的真实世界数据集上验证了我们的方法。我们表明，PETapter 不仅实现了与全量少样本微调（模式利用训练 PET）相当的性能，而且提供了更高的可靠性和参数效率，同时实现了更高的模块化和训练模块易于共享，使更多研究人员能够在其研究中利用高性能 NLP 方法。
引用
@article{arxiv.2412.04975,
title = {PETapter: Leveraging PET-style classification heads for modular few-shot parameter-efficient fine-tuning},
author = {Jonas Rieger and Mattes Ruckdeschel and Gregor Wiedemann},
journal= {arXiv preprint arXiv:2412.04975},
year = {2025}
}