一种用于动态视觉刺激生成的时空风格迁移算法

理解视觉信息如何在生物和人工系统中编码，通常需要视觉科学家生成适当的刺激来测试特定假设。虽然深度神经网络模型通过图像风格迁移等方法彻底改变了图像生成领域，但可用的视频生成方法却寥寥无几。在此，我们介绍了时空风格迁移 (STST) 算法，这是一个动态视觉刺激生成框架，允许为视觉研究强大操纵和合成视频刺激。它基于一个双流深度神经网络模型，该模型分解空间和时间特征，以生成动态视觉刺激，其模型层激活与输入视频的激活相匹配。作为一个示例，我们展示了我们的算法能够生成模型变体 (metamers)，即在我们双流模型中层激活与自然视频相匹配的动态刺激。我们表明，这些生成的刺激与其自然对应物匹配低级时空特征，但缺乏高级语义特征，使其成为研究物体识别的强大范式。深度视觉模型中的后期层激活在自然刺激和变体刺激之间表现出较低的相似性，而早期层则不然，这证实了生成刺激中高级信息的缺失。最后，我们使用生成的刺激来探测预测编码深度网络的表征能力。这些结果展示了我们的算法作为视觉科学中动态刺激生成的多功能工具的潜在应用。