面向特定领域的轻量级词汇适配：提升大语言模型的效率
计算与语言
2025-08-04 v2
摘要
大型语言模型（LLMs）已显示出作为通用模型的惊人多样性。然而，其广泛的适用性伴随着高昂的计算开销，特别是在自回归解码过程中，每一步都需要进行前向传播。在特定领域的设置中，通用功能是不必要的，可以用效率来交换。在本工作中，我们从域适应的新视角出发，通过适应特定兴趣领域的词汇来降低延迟和计算成本。我们引入AdaptiVocab，一种用于词汇适配的端到端方法，旨在提高低资源领域中大型语言模型的效率。AdaptiVocab可以应用于任何分词器和体系结构，通过用领域特定的n-gram词汇替换词汇来修改词汇，从而减少输入处理和输出生成所需的词汇数量。AdaptiVocab使用现有词汇嵌入的指数加权组合来初始化新的n-gram嵌入，并采用可在单个GPU上高效完成的轻量级微调阶段。我们在三个特定领域上评估了两个7B规模的大型语言模型，评估效率、生成质量和终端任务性能。我们的结果表明，AdaptiVocab在不损失性能的情况下，将词汇使用量降低了25%以上。
引用
@article{arxiv.2503.19693,
title = {AdaptiVocab: Enhancing LLM Efficiency in Focused Domains through Lightweight Vocabulary Adaptation},
author = {Itay Nakash and Nitay Calderon and Eyal Ben David and Elad Hoffer and Roi Reichart},
journal= {arXiv preprint arXiv:2503.19693},
year = {2025}
}