增强判别力的损失以改善表示学习
计算机视觉与模式识别
2022-04-08 v2 机器学习
摘要
在训练过程中，深度神经网络通过特征层次结构隐式地学习表示输入数据样本，其中层次的大小由层数决定。在本文中，我们专注于增强通常由较深层（靠近输出）学习到的高层表示的判别能力。为此，我们引入了一个受 Gini 不纯度启发的新的损失项，旨在最小化单个高层特征相对于类标签的熵（增加判别能力）。尽管我们的 Gini 损失诱导出高度判别性的特征，它并不能确保高层特征的分布与类的分布相匹配。因此，我们引入另一个损失项来最小化两个分布之间的 Kullback-Leibler 散度。我们在两个图像分类数据集（CIFAR-100 和 Caltech 101）上进行实验，考虑了从卷积网络（ResNet-17、ResNet-18、ResNet-50）到 transformers（CvT）的多种神经架构。我们的实证结果表明，将我们的新损失项整合到训练目标中始终优于仅用交叉熵训练的模型，且完全不增加推理时间。
引用
@article{arxiv.2202.07073,
title = {Discriminability-enforcing loss to improve representation learning},
author = {Florinel-Alin Croitoru and Diana-Nicoleta Grigore and Radu Tudor Ionescu},
journal= {arXiv preprint arXiv:2202.07073},
year = {2022}
}
备注
Accepted in CVPR Workshops