用于深度神经网络分类器的归一化条件互信息替代损失
机器学习
2026-01-21 v3 人工智能
计算机视觉与模式识别
信息论
math.IT
摘要
本文提出一种新颖的信息论替代损失函数；归一化条件互信息（NCMI），用于替代深度神经网络（DNN）基于分类器的事实上的交叉熵（CE）。我们首先观察到模型的NCMI与其准确率呈反比。基于这一洞察，我们引入一种交替算法来高效最小化NCMI。在图像识别和全切片成像（WSI）亚类型基准测试中，采用NCMI训练的模型在计算成本相当于CE的情况下，超过了最先进的损失函数。值得注意的是，在ImageNet上，NCMI相对于CE实现了2.77%的top-1准确率提升；在CAMELYON-17上，用NCMI取代CE可将宏观F1分数提高8.6%。在 various architectures and batch sizes方面，收益一致，这表明NCMI是CE的实际且具竞争力的替代方案。
引用
@article{arxiv.2601.02543,
title = {Normalized Conditional Mutual Information Surrogate Loss for Deep Neural Classifiers},
author = {Linfeng Ye and Zhixiang Chi and Konstantinos N. Plataniotis and En-hui Yang},
journal= {arXiv preprint arXiv:2601.02543},
year = {2026}
}
备注
8 pages, 4 figures