面向电子商务的基础 LLM 领域自适应
计算与语言
2025-05-27 v3
摘要
我们提出了 e-Llama 模型：80 亿和 700 亿参数的大语言模型，它们经过自适应以面向电子商务领域。这些模型旨在作为具备电子商务深度知识的基础模型，构成指令微调和微调的基础。e-Llama 模型是通过对 Llama 3.1 基础模型在 1 万亿特定领域数据 token 上进行持续预训练获得的。我们讨论了我们的方法，并通过一系列消融研究论证了超参数的选择。为了量化模型对电子商务领域的自适应程度，我们定义并实现了一组多语言、特定于电子商务的评估任务。我们表明，通过仔细选择训练设置，可以使 Llama 3.1 模型自适应到新领域，而不会牺牲通用领域任务的显著性能。我们还探索了将自适应模型与基础模型合并的可能性，以更好地控制领域之间的性能权衡。
引用
@article{arxiv.2501.09706,
title = {Domain Adaptation of Foundation LLMs for e-Commerce},
author = {Christian Herold and Michael Kozielski and Tala Bazazo and Pavel Petrushkov and Patrycja Cieplicka and Dominika Basaj and Yannick Versley and Seyyed Hadi Hashemi and Shahram Khadivi},
journal= {arXiv preprint arXiv:2501.09706},
year = {2025}
}
备注
Accepted at ACL25 (Industry )