用局部内容的向量表示与局部运动的矩阵表示学习 V1 简单细胞
神经与进化计算
2022-04-07 v5 计算机视觉与模式识别
机器学习
机器学习
摘要
本文针对由局部像素位移相关联的图像对（如连续视频帧）提出一种表示模型，希望该模型能阐明初级视觉皮层（V1）中的运动感知。该模型耦合以下两个组件：(1) 图像局部内容的向量表示；(2) 由智能体与被摄物体在三维场景中相对运动引起的局部像素位移的矩阵表示。当图像帧因局部像素位移发生变化时，向量被表示局部位移的矩阵相乘。因此向量表示是等变的，因其随局部位移而变化。我们的实验表明，该模型能学习到具有正交相位的 Gabor 类滤波器对。所学滤波器的轮廓与猕猴 V1 中简单细胞的轮廓相匹配。此外，我们证明该模型能以有监督或无监督方式学习推断局部运动。借助这一简单模型，我们在光流估计上取得了有竞争力的结果。
引用
@article{arxiv.1902.03871,
title = {Learning V1 Simple Cells with Vector Representation of Local Content and Matrix Representation of Local Motion},
author = {Ruiqi Gao and Jianwen Xie and Siyuan Huang and Yufan Ren and Song-Chun Zhu and Ying Nian Wu},
journal= {arXiv preprint arXiv:1902.03871},
year = {2022}
}