揭示 LLM 开源项目中的问题、原因与解决方案
软件工程
2025-04-08 v2 人工智能
摘要
随着大型语言模型（LLM）的进步，越来越多的开源软件项目使用 LLM 作为其核心功能组件。尽管关于 LLM 的研究和实践引起了极大关注，但没有专门的研究探讨 LLM 开源项目从业者面临的挑战、这些挑战的原因以及潜在的解决方案。为了填补这一研究空白，我们进行了一项实证研究，以了解从业者在开发和使用 LLM 开源软件时遇到的问题、这些问题的可能原因以及潜在的解决方案。我们收集了 15 个 LLM 开源项目的所有已关闭问题，并标注了符合我们要求的问题。然后，我们从标注的问题中随机抽取了 994 个问题作为数据提取和分析的样本，以了解普遍存在的问题、其根本原因以及潜在的解决方案。我们的研究结果表明：（1）模型问题是从业者面临的最常见问题；（2）模型问题、配置与连接问题以及特征与方法问题被确定为最频繁的问题原因；（3）优化模型是这些问题的主要解决方案。基于研究结果，我们为 LLM 开源项目的从业者和研究人员提供了启示。
引用
@article{arxiv.2409.16559,
title = {Demystifying Issues, Causes and Solutions in LLM Open-Source Projects},
author = {Yangxiao Cai and Peng Liang and Yifei Wang and Zengyang Li and Mojtaba Shahin},
journal= {arXiv preprint arXiv:2409.16559},
year = {2025}
}
备注
Preprint accepted for publication in Journal of Systems and Software, 2025