免费午餐：基于模型检查点平均的鲁棒跨语言迁移
计算与语言
2023-05-29 v1
摘要
大规模多语言语言模型在零样本（ZS-XLT）与少样本（FS-XLT）跨语言迁移设定中展现出强劲性能，其中在源语言任务数据上微调的模型无需任何或仅借助少量标注实例即被迁移至目标语言。然而，当前工作通常高估模型性能，因为微调模型常在最能泛化到目标语言验证实例的模型检查点处被评估。这实际违背了“真实”ZS-XLT 与 FS-XLT 的主要假设。此类 XLT 设定需要不依赖标注目标语言数据进行验证与模型选择的鲁棒方法。本工作中，旨在提升“真实”ZS-XLT 与 FS-XLT 的鲁棒性，我们提出一种简单有效的方法，在任务微调期间对不同检查点（即模型快照）进行平均。我们在高层语义任务（NLI、抽取式 QA）与低层词元分类任务（NER、POS）上开展了详尽的 ZS-XLT 与 FS-XLT 实验。结果表明，模型检查点平均在所有任务的各种目标语言中带来系统且一致的性能增益。重要的是，它在缺乏目标语言验证时同时大幅降低了 XLT 对超参数选择的敏感度。我们还表明，检查点平均在与运行平均（即对独立运行微调所得模型参数取平均）结合时亦有益于性能。
引用
@article{arxiv.2305.16834,
title = {Free Lunch: Robust Cross-Lingual Transfer via Model Checkpoint Averaging},
author = {Fabian David Schmidt and Ivan Vulić and Goran Glavaš},
journal= {arXiv preprint arXiv:2305.16834},
year = {2023}
}
备注
Accepted To Appear In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics