Tryage：面向大语言模型的用户提示实时智能路由

Transformer架构与自注意力机制的引入，引发了针对特定下游任务与数据域训练的语言模型之爆发式产生。Hugging Face生态中已有超200,000个模型，用户在遴选与优化模型以适应多面工作流与数据域的同时，还需应对计算、安全与时效性关切。亟需能消除模型选择与定制负担、为终端用户释放庞大新兴模型库之惊人算力的机器学习框架。在此，我们提出上下文感知路由系统Tryage，其利用语言模型路由器，基于对各输入提示的分析从模型库中优化遴选专家模型。受脑内丘脑路由器启发，Tryage采用感知路由器预测下游模型在提示上的表现，随后使用目标函数作出路由决策，该函数通过标志（如模型大小、模型时效性）将性能预测与用户目标和约束相整合。Tryage允许用户探索Pareto前沿，并自动在任务精度与次要目标（包括最小化模型大小、时效性、安全性、冗长度与可读性）间权衡。在涵盖代码、文本、临床数据与专利的异质数据集上，Tryage框架在动态模型选择中超越Gorilla与GPT3.5 turbo，以50.9%准确率识别最优模型，而GPT 3.5 Turbo为23.6%、Gorilla为10.8%。在概念上，Tryage展示了路由模型如何被用于编程与控制多模型LLM系统行为，以最大化对不断扩展演化的语言模型生态的高效利用。