LlamaDuo：面向服务 LLM 到小规模本地 LLM 迁移的 LLMOps 管道
机器学习
2025-06-02 v3 人工智能
分布式、并行与集群计算
摘要
云端基于服务的大语言模型（LLM）的广泛采用带来了运营依赖、隐私 concerns 以及持续需要互联网连接的挑战。本文介绍一种 LLMOps 管道“LlamaDuo”，用于无缝迁移服务 LLM 的知识和能力到较小、可本地管理的模型。该管道对于在运营故障、严格隐私政策或离线需求的情况下确保服务连续性至关重要。我们的 LlamaDuo 通过使用服务 LLM 生成的合成数据集对小型语言模型进行微调来实现。 如果微调后的模型性能不达预期，则可通过使用服务 LLM 生成的额外类似数据进行额外微调来自动改进。该多轮过程确保较小模型最终能够在特定下游任务中匹配甚至超越服务 LLM 的能力，为受限环境中 AI 部署管理提供了一种实用且可扩展的解决方案。对领先的 LLM 进行大规模实验，展示了 LlamaDuo 在各种下游任务中的有效性、适应性和可 affordability。我们的管道实现已公开于 https://github.com/deep-diver/llamaduo。
引用
@article{arxiv.2408.13467,
title = {LlamaDuo: LLMOps Pipeline for Seamless Migration from Service LLMs to Small-Scale Local LLMs},
author = {Chansung Park and Juyong Jiang and Fan Wang and Sayak Paul and Jing Tang},
journal= {arXiv preprint arXiv:2408.13467},
year = {2025}
}
备注
The first three authors contributed equally to this work; Accepted by ACL 2025 (Main)