面向预测与生成式 AI 应用的模型调用器模型

我们引入一种新颖的软件抽象概念，称为“模型调用器”，作为 AI 和 ML 模型调用的中介，主张其在现有模型服务框架之外的变革性作用。该抽象概念具有多项优势：增强模型预测的准确性和降低延迟，提供模型的更优监控和可观测性，简化 AI 系统架构，简化 AI 开发和管理流程，以及提高 AI/ML/数据科学、软件、数据和运维团队之间的协作与问责。模型调用器对于预测和生成式 AI 应用中模型的创作者和用户都非常有价值。此外，我们开发并发布了一个可通过 pip 安装或从 GitHub 下载的模型调用器原型 Python 库。