优化人工神经网络与大脑中的不同谱表示

近期研究表明，匹配哺乳动物视觉皮层谱特性——即神经活动协方差矩阵的 $\sim 1/n$ 特征谱——的人工神经网络（ANNs）比不匹配的网络获得更高的物体识别性能和对抗攻击鲁棒性。然而，据我们所知，此前没有工作系统地探索修改ANN的谱特性如何影响性能。为填补这一空白，我们对谱正则化器进行了系统搜索，强制ANN的特征谱遵循具有不同指数 $\alpha$ 的 $1/n^\alpha$ 幂律。我们发现较大的幂（约2–3）在稠密网络上带来更好的验证精度和更强的对抗攻击鲁棒性。这一令人惊讶的发现适用于浅层和深层网络，并推翻了类脑谱（对应 $\alpha \sim 1$）总是优化ANN性能和/或鲁棒性的观念。对于卷积网络，最佳 $\alpha$ 值取决于任务复杂度和评估指标：较低的 $\alpha$ 值优化了执行简单物体识别任务（对MNIST手写数字图像分类）网络的验证精度和对抗攻击鲁棒性；对于更复杂的任务（对CIFAR-10自然图像分类），我们发现较低的 $\alpha$ 值优化了验证精度，而较高的 $\alpha$ 值优化了对抗鲁棒性。这些结果有两个主要含义。首先，它们对类脑谱特性（$\alpha \sim 1$）\emph{总是}优化ANN性能的观念提出质疑。其次，它们展示了精细调节的谱正则化器优化所选设计指标（即精度和/或鲁棒性）的潜力。