以人为中心的模型监控视角
机器学习
2022-09-22 v2 人机交互
摘要
预测模型正日益被用于医疗、金融和政策等高风险领域中的各种重大决策。确保这些模型做出准确预测、对数据偏移具有鲁棒性、不依赖伪特征、且不对少数群体造成不当歧视变得至关重要。为此，近期文献中提出了涵盖可解释性、公平性和鲁棒性等多个领域的若干方法。这类方法需要以人为中心，因为它们服务于用户对模型的理解。然而，在理解机器学习（ML）模型部署后监控中的以人为中心的需求与挑战方面存在研究空白。为填补这一空白，我们对 13 位在部署 ML 模型与服务于金融、医疗、招聘、在线零售、计算广告和对话助手等领域客户交叉处有经验的从业者进行了访谈研究。我们识别了现实应用中模型监控的各种以人为中心的挑战与需求。具体而言，我们发现模型监控系统需要并面临如下挑战：阐明监控观察结果对结果的影响。此外，此类洞见必须具备可操作性、鲁棒性、针对领域特定用例的可定制性，并在认知上顾及以避免信息过载。
引用
@article{arxiv.2206.02868,
title = {A Human-Centric Take on Model Monitoring},
author = {Murtuza N Shergadwala and Himabindu Lakkaraju and Krishnaram Kenthapadi},
journal= {arXiv preprint arXiv:2206.02868},
year = {2022}
}