Visual Auditor：用于模型偏差检测与总结的交互式可视化工具
人机交互
2022-06-28 v1 机器学习
摘要
随着机器学习（ML）系统的日益普及，有必要在部署这些系统之前对其偏差进行审计。近期研究已开发出能有效识别交叉偏差的算法，这类偏差表现为可解释、表现不佳的数据子集（或切片）。然而，若无一种用于直观理解和交互这些算法结果的工具，这些解决方案及其洞察便受到限制。我们提出 Visual Auditor，一种用于审计和总结模型偏差的交互式可视化工具。Visual Auditor 通过提供交叉偏差（在考察由多个特征定义的人群时出现的偏差）的可解释概览、问题数据切片之间关系的具体信息，以及模型中表现不佳与表现过佳数据切片的对比，来辅助模型验证。我们的开源工具可直接在计算笔记本和网页浏览器中运行，使模型审计易于获取并能轻松集成到当前的 ML 开发工作流中。与 Fiddler AI 领域专家合作的观察性用户研究表明，我们的工具可帮助 ML 从业者识别并理解模型偏差。
引用
@article{arxiv.2206.12540,
title = {Visual Auditor: Interactive Visualization for Detection and Summarization of Model Biases},
author = {David Munechika and Zijie J. Wang and Jack Reidy and Josh Rubin and Krishna Gade and Krishnaram Kenthapadi and Duen Horng Chau},
journal= {arXiv preprint arXiv:2206.12540},
year = {2022}
}