通过倾斜指数层提升鲁棒性：一种通信理论视角

增强深度网络鲁棒性的前沿技术主要依赖于带合适数据增强的经验风险最小化。本文提出一种受通信理论启发的互补方法，旨在通过学习和推理过程中的神经元竞争来提高神经网络层输出的信噪比。除标准经验风险最小化外，神经元通过最大化该层的倾斜指数（TEXP）目标函数来竞争地稀疏表示层输入。TEXP学习可解释为在高斯数据噪声模型下对匹配滤波器的最大似然估计。TEXP层的推理通过用倾斜softmax替换批归一化来完成，这可解释为对每个神经元所代表的竞争信令假设的 posterior 概率计算。在通过简化模型提供见解后，我们在标准图像数据集上的实验表明，TEXP学习和推理无需数据增强即可增强对噪声及其他常见扰动的鲁棒性。通过适当将TEXP与数据增强技术结合，可针对此类失真获得进一步的累积鲁棒性增益。我们所有实验的代码可在 https://github.com/bhagyapuranik/texp_for_robustness 获取。