致力于发掘大模型与小模型协作在领域任务中的潜能
机器学习
2025-04-25 v1 人工智能
摘要
大型语言模型 (LLM) 已展现出惊人的能力，但其数据和计算资源需求庞大。相比之下，小型模型虽然力量有限，却更高效且可针对特定领域进行定制。在本位论文中，我们主张采取协作方式，使大模型与小模型协同工作，可加速 LLM 适应私有领域并开启 AI 的新潜力。我们探讨了各种模型协作策略，阐明潜在挑战与机遇。基于此，我们倡导以产业导向为导向的研究，重点关注针对真实私有数据集和应用场景的多目标基准测试。
引用
@article{arxiv.2504.17421,
title = {Towards Harnessing the Collaborative Power of Large and Small Models for Domain Tasks},
author = {Yang Liu and Bingjie Yan and Tianyuan Zou and Jianqing Zhang and Zixuan Gu and Jianbing Ding and Xidong Wang and Jingyi Li and Xiaozhou Ye and Ye Ouyang and Qiang Yang and Ya-Qin Zhang},
journal= {arXiv preprint arXiv:2504.17421},
year = {2025}
}