以字符级噪声微调 BERT 实现向方言与紧密相关语言的零样本迁移
计算与语言
2023-04-03 v1 人工智能
摘要
在这项工作中，我们在微调 BERT 时引入多种形式的字符级噪声，以实现向未见过的方言和语言的零样本跨语言迁移。我们在三个句子级分类任务上微调 BERT，并在一系列未见过的方言和语言上评估我们的方法。我们发现，在某些条件下字符级噪声可以是极其有效的跨语言迁移媒介，而在其他条件下则无甚助益。具体而言，我们从任务性质以及源语言与目标语言之间关系的角度探究这些差异，发现微调期间引入字符级噪声在以下情况尤其有帮助：任务利用表层线索，且源-目标跨语言对具有相对较高的词汇重叠，且平均而言未见词元更短（即意义较弱）。
引用
@article{arxiv.2303.17683,
title = {Fine-Tuning BERT with Character-Level Noise for Zero-Shot Transfer to Dialects and Closely-Related Languages},
author = {Aarohi Srivastava and David Chiang},
journal= {arXiv preprint arXiv:2303.17683},
year = {2023}
}
备注
Accepted for publication at VarDial 2023