一种高效的机器学习系统子群性能监控框架
机器学习
2022-12-19 v1 人工智能
摘要
机器学习系统部署后的监控对于确保系统可靠性至关重要。尤其重要的是跨所有数据子群（子总体）监控机器学习系统性能的问题。在实践中，随着输入特征数量增加，数据子群数量呈指数增长，且该过程对标注数据以评估每个子群性能的成本高昂，因此这一过程可能极其昂贵。本文提出一种高效的机器学习系统子群性能监控框架。具体而言，我们旨在利用有限数量的标注数据找出性能最差的子群。我们将该问题数学表述为具有昂贵黑盒目标函数的优化问题，并建议使用贝叶斯优化来求解。我们在多个真实世界数据集和机器学习系统上的实验结果表明，所提框架能高效且有效地检索出性能最差的数据子群。
引用
@article{arxiv.2212.08312,
title = {An Efficient Framework for Monitoring Subgroup Performance of Machine Learning Systems},
author = {Huong Ha},
journal= {arXiv preprint arXiv:2212.08312},
year = {2022}
}
备注
Accepted to the ML Safety Workshop at NeurIPS 2022