用于可解释计算机视觉模型定量比较的心理物理学方法

透明机器学习（ML）领域贡献了许多新方法，旨在提升计算机视觉及一般 ML 模型的可解释性。但透明 ML 方法所提供的解释对人类有多大用处仍难以评估。多数研究在定性比较中评估可解释性，使用不允许方法间直接比较的实验范式，或仅报告无人类参与的离线实验。尽管无人类参与的评估有明显优势，如可扩展性、可重复性以及比有人类参与更少的算法偏差，但如果我们不理解这些指标如何与考虑人类认知的其他指标相关联，其实用性便受限。此处我们借助心理物理学技术研究可解释计算机视觉算法的质量。在众包标注任务中，我们研究不同可解释性方法对标注准确率和任务时间的影响。为将这些发现与无人类参与的可解释性质量度量关联，我们比较了有和无人类参与的质量指标。我们的结果表明心理物理学实验可对机器学习中的透明性进行稳健质量评估。有趣的是，无人类参与计算的质量指标既未提供可解释性方法的一致排序，也不能代表解释对人类的用处。这些发现凸显了经典心理物理学方法对现代机器学习应用的潜力。我们希望我们的结果为在其自然栖息地即人类-ML 交互中评估可解释性提供有说服力的论据，若目标是获得可解释性的真实评估。