面向跨语言分类的近邻少样本学习
计算与语言
2021-09-07 v1
摘要
尽管大型多语言预训练模型（如 mBERT、XLM-R）已在广泛的跨语言 NLP 任务上带来显著性能提升，但许多下游任务的成功仍依赖于充足标注数据的可用性。仅用少量目标样本对传统预训练模型进行微调会导致过拟合。这可能颇具局限性，因为世界上大多数语言资源不足。本工作中，我们研究使用一种简单的近邻少样本（<15 样本）推理技术用于分类任务的跨语言适配。我们在两个 NLP 任务 XNLI 与 PAWS-X 上，使用总计 16 种不同语言进行实验。我们的方法仅利用目标语言环境中少量标注样本，便持续优于传统微调。我们还展示了其跨任务的泛化能力。
引用
@article{arxiv.2109.02221,
title = {Nearest Neighbour Few-Shot Learning for Cross-lingual Classification},
author = {M Saiful Bari and Batool Haider and Saab Mansour},
journal= {arXiv preprint arXiv:2109.02221},
year = {2021}
}