用于优化AI工作负载的声明式系统

数据管理系统的一个长期目标是构建能够以经济高效的方式对大量非结构化数据计算定量洞察的系统。直到最近，从公司文档中提取事实、从科学论文中提取数据、或从图像和视频语料库中提取指标仍然困难且昂贵。如今的模型可以高精度地完成这些任务。然而，想要回答一个实质性的AI驱动查询的程序员必须协调大量的模型、提示和数据操作。即使对于单个查询，程序员也必须做出大量决策，例如模型的选择、正确的推理方法、最具成本效益的推理硬件、理想的提示设计等等。最优决策集可能随着查询的变化以及快速发展的技术格局的变化而变化。在本文中，我们提出了Palimpzest，一个系统，它允许任何人通过用声明式语言定义AI驱动的分析查询来处理它们。该系统使用其成本优化框架来实现查询计划，在运行时间、财务成本和输出数据质量之间取得最佳权衡。我们描述了AI驱动分析任务的工作负载、Palimpzest使用的优化方法以及原型系统本身。我们在法律发现、房地产搜索和医疗模式匹配任务上评估了Palimpzest。我们表明，即使是我们简单的原型也提供了一系列有吸引力的计划，包括一个比基线方法快3.3倍、便宜2.9倍的计划，同时提供更好的数据质量。启用并行性后，Palimpzest可以产生比单线程GPT-4基线快90.3倍、成本低9.1倍的计划，同时获得基线F1分数的83.5%。这些不需要用户额外的工作。