X-SNS：基于子网络相似度的跨语言迁移预测
计算与语言
2023-10-27 v1
摘要
跨语言迁移（XLT）是多语言语言模型的一种涌现能力，在未被纳入微调过程的语言上进行评估时，能在相当程度上保持其在某项任务上的性能。尽管英语因其广泛使用通常被视为各类任务中模型适配的主要语言，近期研究揭示，基于特定条件选取最合适的源语言可放大 XLT 的效能。在本工作中，我们提出利用两种语言间子网络相似度作为预测 XLT 语境下语言兼容性的代理指标。我们的方法以模型为导向，能更好地反映基础模型的内在机制。此外，它仅需来自候选语言的适量原始文本，从而有别于多数依赖外部资源的既有方法。在实验中，我们证明该方法在多种任务上优于基线。具体而言，其在零样本 XLT 候选排序中表现优异，以 NDCG@3 衡量平均提升 4.6%。我们还提供了大量分析，证实了子网络对于 XLT 预测的效用。
引用
@article{arxiv.2310.17166,
title = {X-SNS: Cross-Lingual Transfer Prediction through Sub-Network Similarity},
author = {Taejun Yun and Jinhyeon Kim and Deokyeong Kang and Seong Hoon Lim and Jihoon Kim and Taeuk Kim},
journal= {arXiv preprint arXiv:2310.17166},
year = {2023}
}
备注
Accepted to EMNLP 2023 (Findings)