深度神经网络中的不变性是否与人类感知一致？

对深度学习安全性和可信赖性的一项评估准则是，深度神经网络（DNNs）表征所捕获的不变性在多大程度上与人类共享。我们指出了度量这些不变性时所面临的挑战。先前工作使用基于梯度的方法生成同表征输入（IRIs），即具有神经网络给定层上相同表征的输入，从而捕获给定网络的不变性。网络不变性与人类感知对齐的一个必要准则是其 IRIs 在人类看来“相似”。然而，先前工作得出了不一致的结论；一些认为 DNNs 的后续层未学习类人的不变性（\cite{jenelle2019metamers}），而另一些似乎给出了相反指示（\cite{mahendran2014understanding}）。我们认为，用于生成 IRIs 的损失函数会严重影响关于网络不变性的结论，并且是这些冲突发现的主要原因。我们提出在 IRI 生成损失上施加对抗正则化器，以寻找使任何模型看起来与人类共享极少不变性的 IRIs。基于该证据，我们认为仍有改进模型以获得类人不变性的空间，并且进一步，为了在模型间进行有意义的比较，应使用无正则化器损失生成的 IRIs。随后，我们深入研究了深度学习流程的不同组件（例如架构、训练损失、数据增强）如何促进学习与人类对齐良好的模型。我们发现，使用（自监督）对比损失并结合 $\ell_p$ 球对抗数据增强训练的带残差连接的架构，往往学习到与人类最对齐的不变性。代码：\url{github.com/nvedant07/Human-NN-Alignment}。