一种受生物学启发的视觉纹理模型的自监督学习

我们开发了一个用于在低维特征空间中表示视觉纹理的模型，以及一种新颖的自监督学习目标，用于在无标签纹理图像数据库上训练该模型。受灵长类动物视觉皮层架构启发，模型使用第一阶段的有向线性滤波器（对应于皮层区域 V1），由整流单元（简单细胞）和池化相位不变单元（复杂细胞）组成。这些响应由第二阶段（类似于皮层区域 V2）处理，该阶段由卷积滤波器后接半波整流与池化以生成 V2“复杂细胞”响应。第二阶段滤波器在一组无标签均匀纹理图像上训练，使用一种新颖对比目标，最大化单幅图像的 V2 响应分布与所有图像响应分布之间的距离。在纹理分类评估中，训练后的模型比多种深度分层模型架构实现了显著更高的数据效率。此外，我们表明所学模型对灵长类 V2 中记录的神经群体纹理响应表现出比预训练深度 CNN 更强的表征相似性。