正交性约束在改善图像分类深度网络特性中的作用
计算机视觉与模式识别
2020-09-24 v1 机器学习
摘要
采用分类交叉熵损失的标准深度学习模型在图像分类任务上表现良好已是众所周知。然而,许多由此得到的标准模型常表现出特征冗余、可解释性低和校准差等问题。近期涌现了一批工作,试图通过在交叉熵损失之外引入新的正则化函数来应对其中部分挑战。本文中,我们展示了通过探究简单正交性约束作为施加成像中常见物理驱动约束的手段而产生的一些令人惊讶的发现。我们提出了一种正交球(OS)正则化器,它源于简化假设下的基于物理的隐表示。在进一步简化假设下,OS约束可写为闭式形式的简单正交归一化项,并可与交叉熵损失函数一同使用。结果表明,正交归一化损失函数带来:a) 丰富且多样的特征表示,b) 对特征子选择的鲁棒性,c) 类激活图中更好的语义定位,以及 d) 模型校准误差的降低。我们通过在四个基准数据集——CIFAR10、CIFAR100、SVHN 和 tiny ImageNet——上提供定量与定性结果,证明了所提OS正则化的有效性。
引用
@article{arxiv.2009.10762,
title = {Role of Orthogonality Constraints in Improving Properties of Deep Networks for Image Classification},
author = {Hongjun Choi and Anirudh Som and Pavan Turaga},
journal= {arXiv preprint arXiv:2009.10762},
year = {2020}
}
备注
8 figures, 4 tables, 1 pseudo-code