机器凝视背后:具生物启发约束的神经网络展现类人视觉注意
计算机视觉与模式识别
2022-11-22 v2 人工智能
摘要
总体而言,现有的视觉注意计算模型默认具备完美视觉且能完全获取刺激,从而偏离了中央凹式生物视觉。此外,自顶向下注意的建模通常简化为语义特征的整合,而未纳入已被证明部分引导人类注意的高层视觉任务信号。我们提出 Neural Visual Attention(NeVA)算法以自顶向下方式生成视觉扫描路径。利用我们的方法,我们探究了施加生物启发的中央凹视觉约束的神经网络在未经直接训练该目标的情况下生成类人扫描路径的能力。执行下游视觉任务(即分类或重建)的神经网络损失灵活地为扫描路径提供自顶向下引导。大量实验表明,我们的方法在与人扫描路径的相似性上优于最先进的无人监督人类注意模型。此外,该框架的灵活性允许定量研究不同任务在所生成视觉行为中的作用。最后,我们在一个探究真实世界应用中扫描路径效用的新颖实验中展示了该方法的优越性,其中给定了不完美的观看条件。
引用
@article{arxiv.2204.09093,
title = {Behind the Machine's Gaze: Neural Networks with Biologically-inspired Constraints Exhibit Human-like Visual Attention},
author = {Leo Schwinn and Doina Precup and Björn Eskofier and Dario Zanca},
journal= {arXiv preprint arXiv:2204.09093},
year = {2022}
}
备注
31 pages, 14 figures, 4 tables