Cognify: 通过层次化自动调参加速生成式AI工作流
机器学习
2025-02-13 v1 人工智能
多智能体系统
摘要
如今涉及多个ML模型调用、工具/API调用、数据检索或通用代码执行的生成式AI工作流，通常以耗时且易出错的手动方式进行调参。在本文中，我们提出了一种自动调参生成式AI工作流的系统性方法。我们的关键洞察是生成式AI工作流可以从结构、操作符和提示更改中受益，但生成式AI工作流的独特特性需要新的优化技术。我们提出AdaSeek，一种用于自动调参生成式AI工作流的自适应层次化搜索算法。AdaSeek根据用户指定的总搜索预算将工作流调参方法组织为不同层次，并根据每个层次的复杂性在不同层次间分配预算。在其层次化搜索过程中，AdaSeek根据工作流级别的评估结果，将搜索预算从效用较低的配置重新分配到更有前景的配置。我们将AdaSeek实现在一个名为Cognify的工作流自动调参框架中，并使用六种类型的工作流（如基于RAG的问答和文本转SQL转换）对Cognify进行评估。总体而言，Cognify将这些工作流的生成质量提高了最多2.8倍，将执行货币成本降低了最多10倍，并将端到端延迟减少了2.7倍。
引用
@article{arxiv.2502.08056,
title = {Cognify: Supercharging Gen-AI Workflows With Hierarchical Autotuning},
author = {Zijian He and Reyna Abhyankar and Vikranth Srivatsa and Yiying Zhang},
journal= {arXiv preprint arXiv:2502.08056},
year = {2025}
}