跨语言词汇适应对高效语言模型推理的实证研究
计算与语言
2024-09-27 v3 人工智能
摘要
最先进的生成式大型语言模型（LLM）的开发不成比例地依赖于以英语为中心的分词器、词汇和预训练数据。尽管一些LLM具有多语言能力，但最近的研究表明，当生成英语以外的语言文本时，它们的推理效率会下降。这导致推理时间和成本增加。跨语言词汇适应（CVA）方法已被提出用于将模型适应目标语言，旨在提高下游性能。然而，这些方法在提高生成式LLM推理效率方面的有效性尚未得到探索。在本文中，我们对四种生成式LLM（包括单语言和多语言模型）上的五种CVA方法进行了实证研究，涉及四种类型学上不同的语言和四项自然语言理解任务。我们发现CVA显著促进了LLM推理加速，最高可达271.5%。我们还表明，对预训练于更平衡的多语言数据的LLM进行适应，其下游性能与原始模型相当。
引用
@article{arxiv.2402.10712,
title = {An Empirical Study on Cross-lingual Vocabulary Adaptation for Efficient Language Model Inference},
author = {Atsuki Yamaguchi and Aline Villavicencio and Nikolaos Aletras},
journal= {arXiv preprint arXiv:2402.10712},
year = {2024}
}
备注
Accepted at EMNLP 2024 Findings