多任务模型对结构失效具有鲁棒性：一个用于双语认知储备的神经模型
机器学习
2022-10-24 v1 人工智能
计算与语言
摘要
我们发现了多任务学习与对神经元失效的鲁棒性之间令人惊讶的联系。我们的实验表明，在各种神经元扰动（如随机删除、幅度剪枝和权重噪声）下，双语语言模型相比同等规模单语模型保持了更高的性能。我们通过对线性表示学习进行数学分析并提供理论依据，表明多任务学习创建了更鲁棒的表示。我们的分析将鲁棒性与所学表示的谱性质联系起来，并证明多任务学习对多样化任务向量带来更高的鲁棒性。我们开源了我们的代码和模型：https://github.com/giannisdaras/multilingual_robustness
引用
@article{arxiv.2210.11618,
title = {Multitasking Models are Robust to Structural Failure: A Neural Model for Bilingual Cognitive Reserve},
author = {Giannis Daras and Negin Raoof and Zoi Gkalitsiou and Alexandros G. Dimakis},
journal= {arXiv preprint arXiv:2210.11618},
year = {2022}
}
备注
Accepted at NeurIPS 2022. 22 pages, 11 Figures