允许人类交互式引导机器关注区域并不总能提升人机协同分类准确率

通过可解释AI（XAI）领域的数千篇论文，注意力图和特征重要性图已被确立为探寻每个输入特征对AI决策重要性的常用手段。允许用户在测试时编辑特征重要性是否会提升人机协同团队在下游任务中的准确率，这是一个有趣且尚未探索的问题。在本文中，我们利用CHM-Corr这一最先进的、事前可解释分类器来解决这个问题，该分类器首先预测输入图像与训练集图像之间的逐块对应关系，然后基于此做出分类决策。我们构建了CHM-Corr++，一个用于CHM-Corr的交互式界面，使用户能够编辑CHM-Corr提供的特征重要性图并观察更新后的模型决策。通过CHM-Corr++，用户可以深入了解模型是否、何时以及如何改变其输出，从而超越静态解释来提升他们的理解。然而，我们对18位执行了1,400次决策的专家用户的研究发现，在CUB-200鸟类图像分类任务上，我们的交互式方法相较于静态解释在提升用户准确率方面并没有统计学显著性。这挑战了交互性能够提升人机协同团队准确率的假设，并提出了未来研究的需求。我们开源了CHM-Corr++，这是一个用于编辑图像分类器注意力的交互式工具（交互式演示见：http://137.184.82.109:7080/）。我们在GitHub上发布了代码和数据：https://github.com/anguyen8/chm-corr-interactive。