Oolong：通过受控研究探究迁移学习难点的成因
计算与语言
2024-01-25 v2
摘要
当我们将预训练语言模型迁移到一门新语言时，许多变化维度会同时发生改变。为了分离句法相似度和词汇相似度等不同因素的影响，我们提出了一组受控迁移研究：我们系统地变换 GLUE 基准测试的语言，每次只改变一个跨语言变化维度，然后测量预训练模型在下游任务性能上的相应下降。我们发现，模型在很大程度上能够从句法风格偏移中恢复，但无法从词汇错位和嵌入矩阵重新初始化中恢复，即便在 1500 万 token 上继续预训练也不行。此外，迁移语言中高质量的 tokenizer 并不能使词汇对齐更容易。我们的实验为研究人员在设计语言迁移场景时最应关注的跨语言迁移因素提供了见解。
引用
@article{arxiv.2202.12312,
title = {Oolong: Investigating What Makes Transfer Learning Hard with Controlled Studies},
author = {Zhengxuan Wu and Alex Tamkin and Isabel Papadimitriou},
journal= {arXiv preprint arXiv:2202.12312},
year = {2024}
}
备注
EMNLP 2023