FUN with Fisher：通过计划解冻改善基于适配器的跨语言迁移泛化能力
计算与语言
2024-04-05 v2
摘要
语言模型的标准微调通常在分布内数据上表现良好，但在面对分布偏移时泛化能力较差。本文旨在改善基于适配器的跨语言任务迁移的泛化能力，此类跨语言分布偏移是不可避免的。我们研究了计划解冻算法——最初提出用于减轻迁移学习中的灾难性遗忘——用于微调任务适配器。我们的实验表明，计划解冻方法缩小了与全参数微调的差距，并实现了更强的跨语言迁移性能，表明这些方法的作用可能超越仅仅减轻灾难性遗忘。接下来，为了理解这些实证发现，我们使用 Fisher 信息研究了计划解冻的学习动力学。实验揭示，与标准微调相比，计划解冻诱导了不同的学习动力学，并提供了证据表明训练期间 Fisher 信息的动力学与跨语言泛化性能相关。我们还提出了一种通用的计划解冻算法，在四个数据集上相比标准微调平均提高了 2 个点，并为适配器训练中启发式解冻计划的基于理论的合理性提供了实证证据。
引用
@article{arxiv.2301.05487,
title = {FUN with Fisher: Improving Generalization of Adapter-Based Cross-lingual Transfer with Scheduled Unfreezing},
author = {Chen Cecilia Liu and Jonas Pfeiffer and Ivan Vulić and Iryna Gurevych},
journal= {arXiv preprint arXiv:2301.05487},
year = {2024}
}