构建面向生产的基于LLM的应用主题：从业者视角
软件工程
2025-04-09 v2
摘要
背景：大型语言模型（LLM）已成为研究人员和从业者共同关注的焦点，然而，对于开发基于LLM的系统所需的关键考量因素，目前尚缺乏全面的概述。本研究通过收集和映射从业者在线讨论的主题来填补这一空白，为开发基于LLM的应用中的优先事项提供实践见解。方法：我们收集了2022年至2024年间来自积极开发此类系统的从业者的189个视频，这些视频讨论了他们在LLM的生产部署和开发过程中遇到的各种方面。我们使用BERTopic分析转录文本，然后手动整理并合并生成的主题，最终得到8个主题下的20个主题。结果：最普遍的主题属于“设计与架构”主题，其中检索增强生成（RAG）系统受到高度关注。其他经常讨论的主题包括模型能力与增强技术（例如微调、提示工程）、基础设施与工具，以及风险与伦理挑战。启示：我们的结果凸显了当前在LLM生产部署中的讨论和挑战。通过这种方式，我们为从业者在开发基于LLM的应用时应关注的关键方面提供了系统性的概述。此外，我们还指出了学术界需要进一步研究的兴趣主题。
引用
@article{arxiv.2411.08574,
title = {Themes of Building LLM-based Applications for Production: A Practitioner's View},
author = {Alina Mailach and Sebastian Simon and Johannes Dorn and Norbert Siegmund},
journal= {arXiv preprint arXiv:2411.08574},
year = {2025}
}