通过持续预训练和模型合并对 Llama3-70B-Instruct 进行领域适应：全面评估
计算与语言
2024-06-24 v1 人工智能
机器学习
摘要
我们对 Meta-Llama-3-70B-Instruct 模型在 SEC 数据上的领域适应性进行了 extensive 实验，探索其在通用和领域特定基准上的性能。我们的研究重点包括持续预训练（CPT）和模型合并，旨在增强模型的领域特定能力，同时缓解灾难性遗忘。通过本研究，我们评估了将金融监管数据集成到稳健语言模型中的影响，并检验了我们模型合并技术在保留和提升模型指令能力方面的有效性。该模型可在 hugging face 上访问：https://huggingface.co/arcee-ai/Llama-3-SEC-Base，arcee-ai/Llama-3-SEC-Base。这是一个进行了 200 亿 token 训练的中间检查点，其完整模型仍在训练过程中。这是一个包含全面评估的技术报告预印本，用以理解整个过程。
引用
@article{arxiv.2406.14971,
title = {Domain Adaptation of Llama3-70B-Instruct through Continual Pre-Training and Model Merging: A Comprehensive Evaluation},
author = {Shamane Siriwardhana and Mark McQuade and Thomas Gauthier and Lucas Atkins and Fernando Fernandes Neto and Luke Meyers and Anneketh Vij and Tyler Odenthal and Charles Goddard and Mary MacCarthy and Jacob Solawetz},
journal= {arXiv preprint arXiv:2406.14971},
year = {2024}
}
备注
8 pages, 6 figures