用于深度学习解释的交互式分类系统
计算机视觉与模式识别
2019-04-12 v2 人工智能
人机交互
摘要
我们提出了一个交互式系统，使用户能够操控图像以探索深度学习图像分类器的鲁棒性与敏感性。利用现代 Web 技术在浏览器内运行推理，用户可使用图像修复(inpainting)算法去除图像特征并实时获得新的分类结果，从而能够通过实验性地修改图像并观察模型反应来提出各种“如果……会怎样”的问题。我们的系统允许用户比较和对比人类与机器学习模型用于分类的图像区域，揭示出从惊人的失败（例如，移除人物后“水瓶”图像变成“音乐会”）到令人印象深刻的鲁棒性（例如，即使没有手套或垒包，“棒球运动员”图像仍被正确分类）等一系列令人惊讶的结果。我们在 2018 年计算机视觉与模式识别会议(CVPR)上演示了该系统，供观众现场体验。我们的系统已在 https://github.com/poloclub/interactive-classification 开源。视频演示见 https://youtu.be/llub5GcOF6w。
引用
@article{arxiv.1806.05660,
title = {Interactive Classification for Deep Learning Interpretation},
author = {Ángel Alexander Cabrera and Fred Hohman and Jason Lin and Duen Horng Chau},
journal= {arXiv preprint arXiv:1806.05660},
year = {2019}
}
备注
Presented as a demo at CVPR'18