零样本跨语言迁移是不适定优化
计算与语言
2022-07-13 v1
摘要
预训练多语言编码器实现了零样本跨语言迁移,但常产生不可靠的模型,在目标语言上表现出较高的性能方差。我们假定这种高方差源于零样本跨语言迁移求解了一个不适定优化问题。我们表明,在源语言单语模型与源+目标双语模型之间的任意线性插值模型具有同样低的源语言泛化误差,然而随着从单语模型移向双语模型,目标语言泛化误差平滑且线性地降低,这表明仅使用源语言时模型难以为源语言和目标语言同时确定良好解。此外,我们展示了零样本解位于目标语言误差泛化曲面的非平坦区域,导致了高方差。
引用
@article{arxiv.2207.05666,
title = {Zero-shot Cross-lingual Transfer is Under-specified Optimization},
author = {Shijie Wu and Benjamin Van Durme and Mark Dredze},
journal= {arXiv preprint arXiv:2207.05666},
year = {2022}
}
备注
RepL4NLP Workshop 2022