Softmax 并非人为技巧：神经网络中 Softmax 的信息论视角

尽管将 softmax 应用于将神经网络的非归一化输出映射为预测类别上的概率分布极为流行，这一归一化指数变换仍显得人为化。一个将 softmax 作为内在组件的理论框架仍然缺失。本文中，我们从信息论视角审视嵌入 softmax 的神经网络。在此视角下，我们可以自然且数学地推导出 log-softmax 作为神经网络中评估给定输入数据时网络输出向量与标签之间条件互信息的固有组件。我们表明，通过最大化 log-softmax 训练确定性神经网络等价于扩大条件互信息，即向网络输出中注入标签信息。我们还将信息论视角推广到具有随机性的神经网络，并推导出 log-softmax 的信息上下界。理论上，此种信息论视角为在神经网络中嵌入 softmax 提供了合理性支持；实践中，我们最终展示了一个计算机视觉应用实例，说明如何利用我们的信息论视角在图像上滤除目标物体。