Zeno：一个用于机器学习行为评估的交互式框架
人机交互
2023-02-10 v1
摘要
在测试数据上准确率高的机器学习模型，在真实世界部署时仍可能产生系统性失败，例如有害偏见和安全问题。为检测并缓解此类失败，从业者对其模型进行行为评估，检查特定类型输入下的模型输出。行为评估很重要但具挑战性，要求从业者发现真实世界模式并验证系统性失败。我们对 18 位 ML 从业者进行了半结构化访谈，以更好地理解行为评估的挑战，发现它是一个协作的、用例优先的过程，现有任务和领域特定工具未能充分支持。利用这些发现，我们设计了 Zeno，一个用于跨多样用例可视化和测试 AI 系统的通用框架。在四位参与者使用 Zeno 对真实世界模型进行案例研究中，我们发现从业者能够复现先前手动分析并发现新的系统性失败。
引用
@article{arxiv.2302.04732,
title = {Zeno: An Interactive Framework for Behavioral Evaluation of Machine Learning},
author = {Ángel Alexander Cabrera and Erica Fu and Donald Bertucci and Kenneth Holstein and Ameet Talwalkar and Jason I. Hong and Adam Perer},
journal= {arXiv preprint arXiv:2302.04732},
year = {2023}
}