生成式 AI 工具包——一个提升 LLM 应用全生命周期质量的框架
软件工程
2024-12-20 v1 人工智能
摘要
随着基于 LLM 的应用触达数百万用户，确保其可扩展性和持续的质量改进对于成功至关重要。然而，当前用于开发、维护和运营这些应用的 DevOps 工作流主要以人工为主，速度缓慢且基于试错。在本文中，我们介绍了生成式 AI 工具包，它自动化了基于 LLM 应用全生命周期中的关键工作流。该工具包有助于配置、测试、持续监控和优化生成式 AI 应用（如智能体），从而在缩短发布周期的同时显著提升质量。我们在代表性用例上展示了该工具包的有效性，分享了最佳实践，并概述了未来的增强功能。由于我们坚信这款生成式 AI 工具包对其他团队有所帮助，我们已将其开源，并希望其他人能够使用、转发、改编和改进它。
引用
@article{arxiv.2412.14215,
title = {Generative AI Toolkit -- a framework for increasing the quality of LLM-based applications over their whole life cycle},
author = {Jens Kohl and Luisa Gloger and Rui Costa and Otto Kruse and Manuel P. Luitz and David Katz and Gonzalo Barbeito and Markus Schweier and Ryan French and Jonas Schroeder and Thomas Riedl and Raphael Perri and Youssef Mostafa},
journal= {arXiv preprint arXiv:2412.14215},
year = {2024}
}
备注
16 pages, 6 figures. For source code see https://github.com/awslabs/generative-ai-toolkit