编码器与解码器：编码器和解码器语言模型在多语言自然语言理解任务上的比较分析
计算与语言
2025-01-14 v2 人工智能
机器学习
摘要
本文探讨了编码器和解码器语言模型在多语言自然语言理解（NLU）任务上的性能，重点关注日耳曼语系语言。我们基于最初仅限于评估编码器模型的ScandEval基准，将评估框架扩展至包含解码器模型。我们引入了一种在NLU任务上评估解码器模型的方法，并将其应用于丹麦语、瑞典语、挪威语、冰岛语、法罗语、德语、荷兰语和英语。通过一系列实验和分析，我们还研究了关于编码器和解码器模型性能比较、NLU任务类型的影响以及不同语言资源间差异的研究问题。我们的发现表明，尽管参数量少几个数量级，编码器模型仍能取得显著优于解码器模型的NLU性能。此外，我们通过UMAP分析探究了解码器与任务性能之间的相关性，揭示了解码器和编码器模型的独特能力。本研究有助于更深入地理解NLU任务中的语言模型范式，并为多语言环境下的模型选择和评估提供了宝贵见解。
引用
@article{arxiv.2406.13469,
title = {Encoder vs Decoder: Comparative Analysis of Encoder and Decoder Language Models on Multilingual NLU Tasks},
author = {Dan Saattrup Nielsen and Kenneth Enevoldsen and Peter Schneider-Kamp},
journal= {arXiv preprint arXiv:2406.13469},
year = {2025}
}
备注
NoDaLiDa 2025 camera ready version, including appendices