深入理解深度神经网络中的人类与机器注意力

人类视觉系统可以选择性地注意场景的某些部分以实现快速感知,这是一种称为人类注意力的生物机制。受此启发,最近的深度学习模型编码注意力机制以聚焦于输入信号中最与任务相关的部分进行进一步处理,这被称为机器/神经/人工注意力。理解人类与机器注意力之间的关系对于解释和设计神经网络十分重要。许多工作声称注意力机制通过解释神经网络“看哪里”提供了可解释性的额外维度。然而,近期研究表明人工注意力图并不总是与常识直觉一致。鉴于这些相互冲突的证据,我们在此对神经网络设计中使用人工注意力和人类注意力进行了系统研究。借助三个示例计算机视觉任务、多种代表性主干网络和著名架构、相应的真实人类注视数据以及系统开展的大规模定量研究,我们量化了人工注意力与人类视觉注意力之间的一致性,并通过初步回答若干与人类和人工注意力机制相关的关键问题,对现有人工注意力机制提供了新颖见解。总体结果表明,人类注意力可以基准化注意力驱动任务中有意义的“真值”,其中人工注意力越接近人类注意力,性能越好;对于更高层视觉任务,则视情况而定。对于注意力驱动任务,建议显式地迫使人工与人类注意力更好对齐以提升性能;这种对齐也将改善高层计算机视觉任务的网络可解释性。