三思而后行！设计以人为中心的变更风险评估AI系统
机器学习
2021-08-19 v1 人工智能
摘要
减少生产系统中的故障数量是技术驱动型行业（如在线零售行业）中最具挑战性的问题之一。为应对该挑战，变更管理作为运营中的一个有前景的子领域应运而生，它以系统化的方式管理和审查将在生产中部署的变更。然而，每日手动审查大量变更并评估其相关风险在实践中是不可能的。这需要开发一个自动化系统来评估大量变更的相关风险。现有少数商业解决方案可解决此问题，但这些方案缺乏将领域知识及领域专家的持续反馈纳入风险评估过程的能力。作为本工作的一部分，我们旨在通过在生产风险评估过程中构建持续反馈回路，弥合变更请求的模型驱动风险评估与领域专家评估之间的鸿沟。在此，我们介绍了构建端到端机器学习系统的工作，并讨论了我们所面临的若干实际挑战，涉及类别分布的极端偏斜、概念漂移、模型预测相关不确定性的估计以及系统的整体可扩展性。
引用
@article{arxiv.2108.07951,
title = {Look Before You Leap! Designing a Human-Centered AI System for Change Risk Assessment},
author = {Binay Gupta and Anirban Chatterjee and Harika Matha and Kunal Banerjee and Lalitdutt Parsai and Vijay Agneeswaran},
journal= {arXiv preprint arXiv:2108.07951},
year = {2021}
}