何时重新训练机器学习模型
机器学习
2025-05-22 v1
摘要
维持实际中机器学习模型的主要挑战之一是应对数据持续且不可预测的演变。大多数实践者面临一个困难问题：应该何时重新训练或更新我的机器学习模型？尽管这个看似简单的问题在三个方面具有挑战性：1) 决策必须基于极少信息——我们通常只能获得少数示例，2) 分布迁移的性质、范围和影响是未知的，3) 它涉及指定重新训练与poor performance 之间的成本比，这可能难以表征。现有工作解决了此问题的某些方面，但没有提供全面解决方案。分布迁移检测不足以考虑成本权衡；数据稀缺且结构异常，使其不适合现有的离线强化学习方法；在线学习公式忽略了关键的实际考虑因素。为此，我们提出了机器学习模型重新训练问题的原则性表述，提出一种基于不确定性的方法，通过持续预测以受限度量衡量的模型性能演变来做出决策。我们的实验针对分类任务，显示该方法在 7 个数据集上 consistently 优于现有基准。
引用
@article{arxiv.2505.14903,
title = {When to retrain a machine learning model},
author = {Regol Florence and Schwinn Leo and Sprague Kyle and Coates Mark and Markovich Thomas},
journal= {arXiv preprint arXiv:2505.14903},
year = {2025}
}