在非平稳环境下学习如何审批机器学习算法更新
机器学习
2020-12-15 v1 机器学习
应用统计
摘要
医疗领域的机器学习算法有潜力从医疗交付过程中生成的真实世界数据持续学习并适应数据集偏移。因此，FDA正寻求设计能够在维持或提升已部署模型安全性与有效性的同时自主审批机器学习算法修改的政策。然而，先验地选定固定审批策略颇为困难，因其性能取决于数据的平稳性与所提议修改的质量。为此，我们研究一种学习审批方法(L2A)，利用累积监测数据学习如何审批修改。L2A定义了一族在“乐观度”上各异的策略——更乐观的政策具有更快审批率——并使用指数加权平均预测器在该族中搜索。为控制已部署模型的累积风险，我们赋予L2A放弃预测并承担某种固定弃判成本的选择。在分布偏移平滑的假设下，我们推导了L2A所部署模型的平均风险界。在仿真研究与实证分析中，L2A针对各问题设定调整乐观度水平：当性能下降常见时学会弃判，而在分布稳定时快速审批有益修改。
引用
@article{arxiv.2012.07278,
title = {Learning how to approve updates to machine learning algorithms in non-stationary settings},
author = {Jean Feng},
journal= {arXiv preprint arXiv:2012.07278},
year = {2020}
}