基于共同命运的目标分割：运动能量处理实现面向随机点刺激的类人零样本泛化

人类擅长根据格式塔原则中的'共同命运'来检测和分割运动物体。值得注意的是，此前研究表明人类感知能够以零样本方式将这一原则泛化到未见过的纹理或随机点上。本工作旨在通过评估广泛的光流模型和一种受神经科学启发的运动能量模型，更好地理解这一能力的计算基础，任务为零样本随机点刺激的前景-背景分割。具体而言，我们采用 Simoncelli 和 Heeger 于 1998 年提出的、经过广泛验证并拟合于皮层 MT 区神经记录的运动能量模型。我们发现，在不同数据集上训练的 40 个深度光流模型的横截面结果难以估计随机点视频中的运动模式，导致前景-背景分割性能较差。相反，受神经科学启发的模型在该任务上显著优于所有光流模型。为与人类感知进行直接比较，我们进行了一项心理物理学研究，以形状识别任务作为代理来衡量人类分割性能。所有最先进的 optical flow 模型均不及人类表现，但只有运动能量模型达到了人类水平。这一受神经科学启发的模型成功弥补了当前计算机视觉模型在面向随机点刺激的类人零样本泛化方面的不足，从而在人类物体感知的格式塔心理学与大脑皮层运动处理之间建立了令人信服的联系。代码、模型和数据集可在 https://github.com/mtangemann/motion_energy_segmentation 获取。