当您的LLM命中终点：面向生产系统的自信模型迁移框架
人工智能
2026-05-01 v1 机器学习
软件工程
摘要
我们提出了一个面向迁移生产环境中基于大语言模型(LLM)的系统的框架，当底层模型到达终止期或需要替换时。关键贡献是一种贝叶斯统计方法，通过校准自动化评估指标与人类判断，实现即使在有限人工评估数据的情况下也能自信地进行模型比较。我们在一个面向全球六个区域、每月服务530万次互动的商业问答系统上演示了该框架；通过评估正确性、拒绝行为和风格遵循性，成功识别了合适的替换模型。该框架可广泛应用于任何部署LLM-based产品的企业，提供一种原则性、可重复的方法，用于模型迁移，在质量保证与评估效率之间进行权衡。随着LLM生态系统的快速演化，以及组织管理跨多个模型、区域和用例的AI-powered服务组合，此类能力日益重要。
引用
@article{arxiv.2604.27082,
title = {When Your LLM Reaches End-of-Life: A Framework for Confident Model Migration in Production Systems},
author = {Emma Casey and David Roberts and David Sim and Ian Beaver},
journal= {arXiv preprint arXiv:2604.27082},
year = {2026}
}
备注
12 pages with appendix