基于中央凹风格迁移的视觉同色异谱探索

$\textit{视觉同色异谱}$问题旨在寻找一族感知上不可区分但物理上不同的图像。本文提出 NeuroFovea 同色异谱模型，这是一种基于外围表示混合与风格迁移前向传播算法的中央凹生成模型。该无需梯度下降的模型由中央凹 VGG19 编码器-解码器参数化，使我们能够在高维空间中对图像进行编码，并在视觉场中的任意位置通过自适应实例归一化在内容与纹理信息之间进行插值。我们的贡献包括：1) 一个通过中央凹前向编码器-解码器网络计算同色异谱对的框架，该框架类似于一个含噪通信系统——我们观察到，同色异谱现象是部分位于感知零空间中的噪声扰动的副产品；2) 一种感知优化方案，用于解决我们的同色异谱模型中超参数化的本质问题，该问题需要对视觉场中各处的图像-纹理权衡系数进行调节，这些系数是内部噪声的产物；3) 对我们生成的同色异谱对进行的 ABX 心理物理学评估，在此评估中我们还发现，对于参考同色异谱对，我们模型中感受野的增长速率与 V1 相匹配，而在合成样本之间则与 V2 相匹配。我们的模型还能在大约一秒内渲染出同色异谱对，与先前工作相比实现了约 $\times1000$ 的加速，从而使得数据驱动的同色异谱实验变得可行。