通过上下文单样本演示的自适应跨语言文本分类
计算与语言
2024-04-04 v1
摘要
零样本跨语言迁移（ZS-XLT）利用在源语言中训练的模型在另一种语言中进行预测，通常会有性能损失。为了缓解这一问题，可以通过后续使用目标语言中的示例进行自适应来获得额外的改进。在本文中，我们利用上下文调优（ICT）进行分类任务中的单样本跨语言迁移，引入了上下文跨语言迁移（IC-XLT）。这一新颖概念涉及训练一个模型从上下文示例中学习，然后在推理时通过在目标语言中前置一个单样本上下文演示来适应目标语言。我们的结果表明，IC-XLT成功利用目标语言示例改进了所评估的mT5模型的跨语言能力，在零样本和少样本场景中优于通过微调适应的基于提示的模型。此外，我们表明，当源语言数据有限时，用于IC-XLT的微调框架与在源语言中使用显著更多训练数据的基于提示的微调性能相当。
引用
@article{arxiv.2404.02452,
title = {Adaptive Cross-lingual Text Classification through In-Context One-Shot Demonstrations},
author = {Emilio Villa-Cueva and A. Pastor López-Monroy and Fernando Sánchez-Vega and Thamar Solorio},
journal= {arXiv preprint arXiv:2404.02452},
year = {2024}
}
备注
Accepted to NAACL 2024