超越显而易见：揭示视觉不变性隐藏景观的无梯度框架

阴明哪些特征组合被视觉单元编码，这对于理解图像如何转化为支持识别的表征至关重要。虽然现有的特征可视化方法通常推断出单元最激动的图像，但这不足以揭示在哪些转换下响应保持不变，这对于视觉中的泛化至关重要。本文提出 Stretch-and-Squeeze (SnS)，一种模型中性、无梯度的框架，用于系统性地表征单元的 maximally 不变刺激及其对对抗性扰动的脆弱性，适用于生物视觉系统和人工视觉系统。SnS 将这些转换表述为双目标优化问题。为探测不变性，SnS 寻求使给定处理阶段表征的参考刺激在下游保持单元激活的同时，最大改变其表示的图像扰动（stretch）。为探测对抗敏感性，颠倒拉伸和压缩的顺序，以最大化单元激活的改变，同时最小化上游表示的变化。应用于 CNN 时，SnS 发现的不变转换在像素空间中远离参考图像的距离更大，超出仿射变换所产生的距离，同时更强地保持目标单元的响应。所发现的不变图像在用于优化的图像表征层次上存在差异：像素层面的变化主要影响亮度和对比度，而在中层和后期表征层面的拉伸主要改变纹理和姿态。通过衡量 L2 robust 网络获得的层级不变图像对人类和其他观察者网络的分类效果，我们发现当表征在深层被拉伸时，其可解释性显著下降，而标准模型则呈相反趋势。