Two4Two:评估可解释机器学习——用于受控实验的合成数据集
人工智能
2021-05-07 v1 计算机视觉与模式识别
人机交互
摘要
现有越来越多的方法用于生成图像分类的解释。然而,这些方法中很少接受人类受试者评估,部分原因是用自然图像数据集设计受控实验具有挑战性,因为它们使关键因素脱离研究者的控制。通过我们的方法,研究者仅需几个参数即可描述其所需的数据集。基于这些参数,我们的库生成两个 3D 抽象动物的合成图像数据。所得数据适用于算法以及人类受试者评估。我们的用户研究表明,我们的方法可以创造出对分类器具有足够预测性、且微妙到仅能被半数目视检查数据的参与者注意到的偏差。我们的方法显著降低了进行人类受试者评估的门槛,从而促进对可解释机器学习更严格的调查。我们的库和数据集见 https://github.com/mschuessler/two4two/
引用
@article{arxiv.2105.02825,
title = {Two4Two: Evaluating Interpretable Machine Learning - A Synthetic Dataset For Controlled Experiments},
author = {Martin Schuessler and Philipp Weiß and Leon Sixt},
journal= {arXiv preprint arXiv:2105.02825},
year = {2021}
}
备注
6 pages, 3 figures, presented at the ICLR 2021 RAI workshop