AI Total：在生产环境中以不完美数据分析安全 ML 模型
机器学习
2021-10-15 v1 密码学与安全
计算机与社会
摘要
新机器学习模型的开发通常在人工策划的数据集上完成，这使其不适合评估模型在运行期间的性能，而运行期间的评估需要对传入的新数据流自动执行。遗憾的是，纯粹依赖全自动流水线监控模型性能，难以理解任何观测到的性能问题是由模型性能、流水线问题、新出现的数据分布偏差，还是上述某些组合所致。鉴于此，我们开发了一个基于 web 的可视化系统，使用户能在保持对底层数据流水线正常运作信心的同时快速收集总体性能数值。它还使用户能在出错时立即观察问题的根本原因。我们引入一种利用数据覆盖均衡器分析数据问题下性能的新方法。我们描述了在机器学习 (ML) 应用中通常追踪的标准评估指标之上所添加的各种修改与附加图、过滤器和下钻功能，并走查了一些对我们内省模型颇具价值的真实示例。
引用
@article{arxiv.2110.07028,
title = {AI Total: Analyzing Security ML Models with Imperfect Data in Production},
author = {Awalin Sopan and Konstantin Berlin},
journal= {arXiv preprint arXiv:2110.07028},
year = {2021}
}