大标签空间中问题偏见的视觉识别
人工智能
2022-01-19 v1 人机交互
摘要
尽管对训练良好、公平的 ML 系统的需求与日俱增，但随着现代模型与数据集以前所未有的速度增长，衡量其公平性的难度也日益加大。将常见公平性度量扩展到此类模型与数据集的一个关键挑战在于需要详尽的真实标注，而这并非总能实现。事实上，这常常排除了传统分析度量与系统的应用。同时，ML 公平性评估无法以算法方式作出，因为公平性高度主观。因此，领域专家需要能够提取并推理模型与数据集中的偏见，以作出明智决策。虽然可视化分析工具在调查 DL 模型中潜在偏见时极有帮助，但现有方法均非针对大标签空间中出现的特定任务与挑战而设计。针对该领域可视化工作的缺失，我们提出了面向此类大标签空间设计可视化的指导原则，兼顾技术与伦理问题。我们所提可视化方法可集成至经典模型与数据流水线中，并提供了作为 TensorBoard 插件开源实现的版本。借助该方法，可对大标签空间的不同模型与数据集进行系统性视觉分析与比较，从而作出针对问题偏见的明智公平性评估。
引用
@article{arxiv.2201.06386,
title = {Visual Identification of Problematic Bias in Large Label Spaces},
author = {Alex Bäuerle and Aybuke Gul Turker and Ken Burke and Osman Aka and Timo Ropinski and Christina Greer and Mani Varadarajan},
journal= {arXiv preprint arXiv:2201.06386},
year = {2022}
}