概念解释与干预对人机协作的影响

深度神经网络（DNN）因其不透明的决策过程常被视为黑箱。为减少其不透明性，引入了概念模型（CM），如概念瓶颈模型（CBM），作为预测人类定义概念的中间步骤，再预测任务标签。这提高了 DNN 的可解释性。在人机协作环境中，更大的可解释性使人类能够更好地理解并建立对 DNN 的信任。在 CBM 引入时，模型在干预概念预测后（即用真实值替换错误的概念预测）显示出提高的任务准确率。这表明在协作环境中，如果模型因干预而提高任务准确率，那么对模型的信任以及人机协作的任务准确率可能也会提高。然而，显示出模型任务准确率提升的研究并未进行人类评估，因此尚不清楚这些发现能否在协作环境中应用。本文我们进行了首次使用 CBM 进行人类实验，以评估其在协作任务设置中的人类交互。我们的发现表明，CBM 比标准 DNN 提高了可解释性，导致人机对齐度提高。然而，这种提高的对齐度并未显著提高任务准确率。理解模型决策过程需要多次交互，模型决策过程与人类决策过程之间的不对齐可能削弱可解释性和模型效能。