$\mathcal{G}$-softmax：改善特征的类内紧致性与类间可分性
计算机视觉与模式识别
2019-07-16 v2 机器学习
摘要
类内紧致性与类间可分性是衡量模型生成判别性特征有效性的关键指标，其中类内紧致性表示相同标签特征彼此的接近程度，类间可分性表示不同标签特征相距的远近。本工作中，我们研究了卷积网络所学特征的类内紧致性与类间可分性，并提出一种基于高斯的 softmax (-softmax) 函数，可有效改善类内紧致性与类间可分性。所提函数实现简单，可轻松替换 softmax 函数。我们在分类数据集（即 CIFAR-10、CIFAR-100 和 Tiny ImageNet）以及多标签分类数据集（即 MS COCO 和 NUS-WIDE）上评估了所提 -softmax 函数。实验结果表明，所提 -softmax 函数在所有评估数据集上均提升了 SOTA 模型。此外，对类内紧致性与类间可分性的分析展示了所提函数相对于 softmax 函数的优势，与性能提升一致。更重要的是，我们观察到高类内紧致性与类间可分性与 MS COCO 和 NUS-WIDE 上的平均精度呈线性相关性。这意味着类内紧致性与类间可分性的改善将带来平均精度的改善。
引用
@article{arxiv.1904.04317,
title = {$\mathcal{G}$-softmax: Improving Intra-class Compactness and Inter-class Separability of Features},
author = {Yan Luo and Yongkang Wong and Mohan Kankanhalli and Qi Zhao},
journal= {arXiv preprint arXiv:1904.04317},
year = {2019}
}
备注
15 pages, published in TNNLS