挑战者：何时使用新数据源才值得更换机器学习模型？
机器学习
2025-12-23 v1 机器学习
摘要
我们研究了是否应替换已训练的现有模型以使用依赖新特征的挑战模型的问题。我们构建了一个统一的经济学和统计框架，将学习曲线动力学、数据获取和再训练成本与未来收益的贴现相结合。首先，我们在简化情景下刻画最优切换时间，推导出闭式表达式，量化 horizon 长度、学习曲线曲率和成本差异如何影响最优决策。其次，我们提出了三个实用算法：一种一次性基准、一种贪心顺序方法以及一种前瞻顺序方法。使用来自信用评分数据集的真实数据，其中包含逐步到达的备用数据，我们表明：（i）最优切换时间系统性地随成本参数和学习曲线行为变化；（ii）前瞻顺序方法优于其他方法，能够接近拥有完全前瞻知识的秀女。最后，我们建立了有限样本保证，包括前瞻顺序方法相对于该秀女实现亚线性后悔的条件。我们的结果为在新数据源可用时进行经济学上严谨的模型转换提供了操作蓝图。
引用
@article{arxiv.2512.18390,
title = {The Challenger: When Do New Data Sources Justify Switching Machine Learning Models?},
author = {Vassilis Digalakis and Christophe Pérignon and Sébastien Saurin and Flore Sentenac},
journal= {arXiv preprint arXiv:2512.18390},
year = {2025}
}