面向企业的复合AI系统蓝图架构
数据库
2024-06-04 v1 人工智能
摘要
大型语言模型（LLMs）展现了超越传统NLP挑战的卓越能力，为在生产用例中使用创造了机会。为实现这一目标，构建复合AI系统出现了显著转变，其中LLMs被集成到一个包含模型、检索器、数据库和工具等多个组件的庞大软件基础设施中。本文介绍了一种蓝图架构，用于使复合AI系统在企业环境中经济高效且可行地运行。我们提出的架构旨在与现有的计算和数据基础设施无缝集成，其中“流”作为关键编排概念，用于协调智能体和其他组件之间的数据和指令。任务规划器和数据规划器分别根据生产约束（如准确性和延迟），将任务和数据分解、映射并优化到各自注册表中定义的可用智能体和数据源。
引用
@article{arxiv.2406.00584,
title = {A Blueprint Architecture of Compound AI Systems for Enterprise},
author = {Eser Kandogan and Sajjadur Rahman and Nikita Bhutani and Dan Zhang and Rafael Li Chen and Kushan Mitra and Sairam Gurajada and Pouya Pezeshkpour and Hayate Iso and Yanlin Feng and Hannah Kim and Chen Shen and Jin Wang and Estevam Hruschka},
journal= {arXiv preprint arXiv:2406.00584},
year = {2024}
}
备注
Compound AI Systems Workshop at the Data+AI Summit 2024