利用多项式关系检测模型漂移
机器学习
2021-12-23 v2 人工智能
摘要
机器学习模型承担着关键职能，例如将贷款申请人分类为良好或不良风险。每个模型都是在训练数据与现场数据来自同一未知底层分布的假设下训练的。实践中该假设常被打破。人们希望识别这种情况何时发生，以最小化对模型性能的影响。我们提出一种通过识别数据特征之间的多项式关系来检测数据分布变化的新方法。我们使用每个已识别关系的 R-square 值来衡量其强度。强多项式关系捕捉了数据的一个显著特征，若数据分布未改变，该特征应保持稳定。因此我们使用一组学习到的强多项式关系来识别漂移。对于一组强于给定阈值的多项式关系，我们计算该关系所观测到的漂移量。漂移量通过计算如下贝叶斯因子来度量：基线数据与现场数据的多项式关系似然的贝叶斯因子。我们通过模拟一系列变化对该方法进行经验验证，并利用多项式关系似然变化的贝叶斯因子识别漂移。
引用
@article{arxiv.2110.12506,
title = {Detecting model drift using polynomial relations},
author = {Eliran Roffe and Samuel Ackerman and Orna Raz and Eitan Farchi},
journal= {arXiv preprint arXiv:2110.12506},
year = {2021}
}