分布偏移下的零样本跨语言情感分类：一项探索性研究
计算与语言
2023-11-14 v1
摘要
针对微调语言模型在未见领域中的分布外（OOD）测试样本上性能脆弱性的问题，在英语场景下已有充分研究，但在多语言模型中尚属空白。因此，我们专门在零样本跨语言迁移设定下研究对OOD测试数据的泛化能力，分析训练与测试数据之间语言和领域偏移对性能的影响。由于反事实增强数据（CAD）已在单语英语设定中被证明有益，我们进一步评估CAD在改善跨语言设定下OOD泛化的有效性。最后，我们利用近期大语言模型（LLM）的能力，提出两种避免CAD所需昂贵标注过程的OOD泛化新方法。我们使用在英文IMDb影评上训练的3个多语言模型LaBSE、mBERT和XLM-R进行实验，并在13种语言的OOD测试集上评估：Amazon产品评论、推文和餐厅评论。结果印证了单语英语设定中观察到的OOD性能下降。此外，（i）来自原始高资源语言的反事实数据确实改善了低资源语言中的OOD泛化；（ii）我们新提出的成本高效方法在Amazon和餐厅评论上达到了与CAD相似或最高+3.1%更优的准确率。
引用
@article{arxiv.2311.06549,
title = {Zero-Shot Cross-Lingual Sentiment Classification under Distribution Shift: an Exploratory Study},
author = {Maarten De Raedt and Semere Kiros Bitew and Fréderic Godin and Thomas Demeester and Chris Develder},
journal= {arXiv preprint arXiv:2311.06549},
year = {2023}
}
备注
The 3rd Workshop on Multilingual Representation Learning (MRL@EMNLP2023)