零样本跨语言迁移的泛化措施
计算与语言
2024-09-10 v2
摘要
模型对未见输入及其不同特征的泛化能力对于构建稳健可靠的机器学习系统至关重要。语言模型评估任务缺乏关于模型泛化性的信息度量标准，其在新环境中的适用性通常通过特定于任务和语言的下游性能来衡量，这在许多语言和任务中常常缺乏。本文我们探索了一套高效可靠的措施，可有助于计算与语言模型在跨语言零样本设置下泛化能力相关的更多信息。除了传统措施，如训练后参数的方差和与初始化距离之外，我们还度量了锐度在损失景观中捕捉跨语言迁移成功性的效果，并提出了一种新型稳定算法可可靠计算模型最优点的锐度，该算法与泛化性相关。
引用
@article{arxiv.2404.15928,
title = {Generalization Measures for Zero-Shot Cross-Lingual Transfer},
author = {Saksham Bassi and Duygu Ataman and Kyunghyun Cho},
journal= {arXiv preprint arXiv:2404.15928},
year = {2024}
}