再看一眼：一个通用计算模型预测跨任务与跨物种的返回注视
计算机视觉与模式识别
2023-01-11 v2
摘要
灵长类动物通过扫视眼动不断探查周围环境，将图像的不同部分带入高分辨率区。除了探查视野中的新区域外，灵长类动物还频繁进行返回注视，重新访问先前已注视的位置。我们系统研究了总计 217,440 次注视中的 44,328 次返回注视。返回注视在不同行为任务、猴子和人类中均普遍存在，无论受试观看静态图像还是执行自然行为。返回注视位置在受试者间一致，倾向于在较短时间偏移内发生，且通常紧随扫视方向 180 度转向之后。为理解返回注视的起源，我们提出一个原理验证的、受生物学启发且图像可计算的神经网络模型。该模型结合五个关键模块：图像特征提取器、自下而上的显著性线索、任务相关视觉特征、有限返回抑制以及扫视大小约束。尽管没有针对特定任务、物种或条件微调的自由参数，该模型生成的注视序列仍呈现出返回注视的普适特性。这些结果为理解快速中央凹识别与细查先前注视位置需求之间的权衡提供了机制性理解的初步步骤。
引用
@article{arxiv.2101.01611,
title = {Look Twice: A Generalist Computational Model Predicts Return Fixations across Tasks and Species},
author = {Mengmi Zhang and Marcelo Armendariz and Will Xiao and Olivia Rose and Katarina Bendtz and Margaret Livingstone and Carlos Ponce and Gabriel Kreiman},
journal= {arXiv preprint arXiv:2101.01611},
year = {2023}
}
备注
9 main figs and 24 supp figs, accepted in PLOS Computational Biology