构建 StackSpot AI 的经验教训：一个情境化 AI 编程助手
软件工程
2024-01-08 v3
摘要
基于大语言模型（LLM）的工具（如 ChatGPT 和 Co-Pilot）凭借其卓越的自然语言能力，已迅速成为软件开发人员工具箱中不可或缺的资源。尽管近期研究表明这些工具可带来潜在的生产力提升，用户仍面临诸如回答泛化或不准确等缺陷。此外，为获取更优回复而进行的大量提示工程（prompt engineering）往往耗费了本应用于编写高价值代码的时间。为应对这些挑战，一类构建于 LLM 之上的新型工具正在涌现，其旨在通过微调或用情境化信息丰富用户提示等技术来缓解上述缺陷。本文中，我们深入探讨了某软件开发团队在创建此类基于情境化 LLM、采用检索技术名为 CodeBuddy 的应用过程中的经验教训。在四个月时间内，该团队虽无 LLM 应用的专业经验，仍从零构建了该产品。在初始产品发布后，我们与负责代码生成组件的开发团队进行了交流。通过访谈与应用问题跟踪器的分析，我们揭示了从事 LLM 应用开发的团队可能遇到的若干有趣挑战。例如，我们归纳出三类主要经验教训：基于 LLM 的经验、基于用户的经验以及技术经验。理解这些经验可使软件开发团队更好地准备构建基于 LLM 的应用。
引用
@article{arxiv.2311.18450,
title = {Lessons from Building StackSpot AI: A Contextualized AI Coding Assistant},
author = {Gustavo Pinto and Cleidson de Souza and João Batista Neto and Alberto de Souza and Tarcísio Gotto and Edward Monteiro},
journal= {arXiv preprint arXiv:2311.18450},
year = {2024}
}