通过软提示调优增强面向跨语言广义零样本分类的小语言模型
计算与语言
2025-03-31 v2 人工智能
摘要
在自然语言处理中,零样本分类(ZSC)已成为使模型将文本分类为训练时未见类别的关键能力,尤其在标注数据稀缺的低资源语言和领域中。虽然预训练语言模型(PLMs)在 ZSC 中展现出潜力,但它们通常依赖大规模训练数据集或外部知识,限制了其在多语言与低资源场景中的适用性。近期利用自然语言提示的方法减少了对大规模训练数据集的依赖,但难以有效整合来自相关分类任务的可用标注数据,尤其是当这些数据集来自不同语言或分布时。此外,现有基于提示的方法通常依赖特定语言中人工编写的提示,限制了其在跨语言场景中的适应性与有效性。为应对这些挑战,我们提出 RoSPrompt,一种轻量且数据高效的方法,用于训练软提示以增强跨语言 ZSC,同时确保在数据分布偏移下的稳健泛化能力。RoSPrompt 专为小型多语言 PLMs 设计,使其能够利用高资源语言提升低资源场景下的性能,而无需大量微调或高昂的计算成本。我们在涵盖 106 种语言的数据集上对多种多语言 PLMs 进行了评估,展示了强大的跨语言迁移性能以及对未见类别的稳健泛化能力。
引用
@article{arxiv.2503.19469,
title = {Enhancing Small Language Models for Cross-Lingual Generalized Zero-Shot Classification with Soft Prompt Tuning},
author = {Fred Philippy and Siwen Guo and Cedric Lothritz and Jacques Klein and Tegawendé F. Bissyandé},
journal= {arXiv preprint arXiv:2503.19469},
year = {2025}
}
备注
Workshop on Language Models for Underserved Communities (co-located with NAACL 2025)