可解释的情感解码：人类视觉与计算机视觉

现代机器学习(ML)已在各个研究领域取得了显著进展，但ML模型的不透明特性阻碍了其在多个领域的应用。可解释AI(XAI)通过提供额外信息来帮助用户理解ML模型的内部决策过程，从而应对这一挑战。在神经科学领域，将基于归因的XAI技术丰富用于大脑解码的ML模型意味着能够突出显示与当前任务强烈相关的大脑区域，从而为领域专家提供有价值的见解。在本文中，我们并行分析了人类视觉和计算机视觉(CV)系统，分别基于功能性磁共振成像(fMRI)和电影帧训练并解释两个ML模型。我们利用了"StudyForrest"数据集，该数据集包含受试者观看《阿甘正传》电影时的功能性磁共振成像(fMRI)扫描、情绪标注和眼动追踪数据。对于人类视觉，ML任务是将fMRI数据与情绪标注建立关联，解释结果突出显示了与标签强烈相关的大脑区域。另一方面，对于计算机视觉，输入数据为电影帧，解释结果为像素级显著性图。我们交叉分析了我们的结果，将人类注意力（通过眼动追踪获得）与CV模型上的XAI显著性图和大脑区域激活联系起来。我们展示了人类视觉与计算机视觉的并行分析如何为神经科学界（分配理论）和ML界（卷积模型的生物学合理性）提供有用信息。