基于视觉对应的解释提升AI鲁棒性与人机协作准确率
计算机视觉与模式识别
2023-09-01 v5 人工智能
人机交互
机器学习
摘要
解释人工智能（AI）预测在许多高风险应用中日益重要甚至不可或缺，其中人类是最终决策者。本工作中，我们提出两种新颖的自解释图像分类器架构，它们首先进行解释，然后预测（不同于事后解释），通过利用查询图像与范例之间的视觉对应来实现。我们的模型在分布外（OOD）数据集上持续取得提升（1至4个百分点），而在分布内测试上比ResNet-50和近邻分类器（kNN）表现略差（1至2个百分点）。通过基于ImageNet和CUB的大规模人类研究，我们发现基于对应的解释比kNN解释对用户更有用。我们的解释帮助用户比所有其他被测方法更准确地拒绝AI的错误决策。有趣的是，我们首次表明，在ImageNet和CUB图像分类任务中，有可能实现互补的人机团队准确率（即高于单独AI或单独人类）。
引用
@article{arxiv.2208.00780,
title = {Visual correspondence-based explanations improve AI robustness and human-AI team accuracy},
author = {Giang Nguyen and Mohammad Reza Taesiri and Anh Nguyen},
journal= {arXiv preprint arXiv:2208.00780},
year = {2023}
}
备注
NeurIPS 2022 conference paper