匹配可解释人工智能与眼动注视的表示以用于人机交互
人机交互
2021-02-02 v1 人工智能
摘要
基于任务刺激的快速非语言沟通是人机协作中的挑战，尤其在驾驶等闭环交互中。为此，我们必须理解人与机器的信息表示，并确定桥接这些表示的基础。可解释人工智能（XAI）技术如逐层相关性传播（LRP）为深度神经网络等高维机器学习技术提供视觉热图解释。在人类认知一侧，视觉注意由与当前任务相关的感官输入的自下而上与自上而下加工所驱动。由于 XAI 与人类认知均应聚焦于任务相关刺激，它们的视觉注意表示间可能存在重叠，从而潜在提供人与机器间非语言沟通的手段。本工作中，我们考察了用于预测驾驶行为的神经网络之 LRP 热图解释与人类驾驶员的眼动注视热图间的相关性。该分析用于确定使用此类技术增强驾驶表现的可行性。我们发现，LRP 热图随神经网络任务特异性的提高而与眼动注视呈现渐增的相似性。我们随后提出这些发现如何通过视觉引导注意至相关区域来辅助人类。据我们所知，我们的工作提供了首个已知的针对驾驶任务的 LRP 与眼动注视分析。
引用
@article{arxiv.2102.00179,
title = {Matching Representations of Explainable Artificial Intelligence and Eye Gaze for Human-Machine Interaction},
author = {Tiffany Hwu and Mia Levy and Steven Skorheim and David Huber},
journal= {arXiv preprint arXiv:2102.00179},
year = {2021}
}