通往清晰之路：探索驾驶辅助系统中世界模型的可解释人工智能

在自动驾驶中，透明度和安全性至关重要，因为错误的代价高昂。然而，自动驾驶系统中使用的神经网络通常被视为黑箱。作为对策，我们有可解释人工智能（XAI）的方法，例如特征相关性估计和降维。粗粒化技术也有助于降低维度和发现可解释的全局模式。一种特定的粗粒化方法是统计物理学中的重正化群。它先前已被应用于受限玻尔兹曼机（RBM）以解释无监督学习。我们通过为卷积变分自编码器（VAE）构建一个透明的骨干模型来改进这一技术，该模型允许将潜在值映射到输入特征，并且性能与训练好的黑箱VAE相当。此外，我们提出了一种自定义特征图可视化技术来分析VAE中的内部卷积层，以解释可能导致自动驾驶应用中危险交通场景的较差重建的内部原因。在第二个关键贡献中，我们提出了预测网络内部动力学和特征相关性的解释和评估技术。我们在计算机视觉领域测试了一个长短期记忆（LSTM）网络，以评估预测模型的可预测性以及未来应用中的潜在安全性。我们通过分析一个预测城市交通情境中行人感知的VAE-LSTM世界模型来展示我们的方法。