可解释深度学习改善人类对自主驾驶汽车的心理模型

自主驾驶汽车日益依赖深度神经网络以实现类人驾驶。由于此类黑箱规划器的不可见性，驾驶员 Behind the wheel 的人难以准确预知何时会失败，这可能导致灾难性后果。尽管对解释这些系统的研究激增，但大多数研究局限于仿真或玩具设置，由于现实部署的困难，使其实际效用未知。本文引入概念包装网络(CW-Net)，一种通过将其推理 grounding 在人类可解释概念中来解释基于机器学习的规划器行为的方法。我们在真实自主驾驶汽车上部署CW-Net，并展示所得解释如何改善驾驶员对汽车心理模型的理解，使其能够更好地预测其行为。迄今为止，我们意识到，集成到自主驾驶汽车中的可解释深度学习既可被理解又可在现实部署环境中有用。CW-Net在实现可解释性水平的同时，提供的解释既具有因果忠实性，又不牺牲驾驶性能。总体而言，我们的研究确立了通过基于概念的解释实现自主代理可解释性的通用路径，这可能有助于使其更透明和更安全。