重新审视带交叉熵的Softmax：作为互信息估计器的神经网络分类器
机器学习
2020-09-18 v4 计算机视觉与模式识别
机器学习
摘要
互信息被广泛用于学习观测的潜在表示，而其在分类神经网络中的含义仍有待更好地解释。我们表明，在平衡数据假设下，使用softmax交叉熵优化分类神经网络的参数等价于最大化输入与标签之间的互信息。通过在合成和真实数据集上的实验，我们表明softmax交叉熵可以近似估计互信息。当应用于图像分类时，这一关系有助于在不修改网络结构的情况下近似输入图像与标签之间的逐点互信息。为此，我们提出infoCAM，即可知类激活图（informative class activation map），它基于信息差异突出输入图像中与给定标签最相关的区域。该激活图有助于在输入图像中定位目标物体。通过在两个真实世界数据集上的半监督物体定位任务实验，我们评估了这一信息论方法的有效性。
引用
@article{arxiv.1911.10688,
title = {Rethinking Softmax with Cross-Entropy: Neural Network Classifier as Mutual Information Estimator},
author = {Zhenyue Qin and Dongwoo Kim and Tom Gedeon},
journal= {arXiv preprint arXiv:1911.10688},
year = {2020}
}