通过语言专用子网络考察多语言语言模型的模块化
计算与语言
2023-11-15 v1
摘要
近期工作提出通过对每语言子网络进行稀疏微调（SFT）以显式诱导多语言 LM 中的语言级模块化，作为更好引导跨语言共享的手段。本工作中，我们考察（1）在无特殊模块化干预的模型中，语言级模块化自然出现的程度，以及（2）此类模型与具显式 SFT 引导子网络模块化的模型之间，跨语言共享与干扰的差异。为量化语言专用性与跨语言交互，我们采用一种训练数据归因方法，估计模型预测受同语言或跨语言训练样本影响的程度。结果显示，语言专用子网络确实自然涌现，且 SFT 并非总是增强模块化，反而可能降低子网络的语言专用性以换取更多跨语言共享。
引用
@article{arxiv.2311.08273,
title = {Examining Modularity in Multilingual LMs via Language-Specialized Subnetworks},
author = {Rochelle Choenni and Ekaterina Shutova and Dan Garrette},
journal= {arXiv preprint arXiv:2311.08273},
year = {2023}
}