面向真实世界应用的语言模型监控与再训练框架
机器学习
2023-11-20 v2 人工智能
摘要
在机器学习(ML)模型开发生命周期中,使用离线留出数据集训练候选模型并为给定任务确定最佳模型仅仅是第一步。在选定模型部署之后,许多真实世界应用需要持续的模型监控与模型再训练。再训练的原因有多种,包括数据或概念漂移,这可能通过适当指标监控到的模型性能反映出来。再训练的另一动机是随时间获取不断增加的数据量,即使不存在漂移,也可用于再训练并提升模型性能。我们在多标签分类(Multilabel Classification)模型的背景下,考察各种再训练决策点对模型性能与资源利用等关键因素的作用。我们阐释了关键决策点,并提出了一种用于设计有效模型再训练策略的参考框架。
引用
@article{arxiv.2311.09930,
title = {A Framework for Monitoring and Retraining Language Models in Real-World Applications},
author = {Jaykumar Kasundra and Claudia Schulz and Melicaalsadat Mirsafian and Stavroula Skylaki},
journal= {arXiv preprint arXiv:2311.09930},
year = {2023}
}