正交投影损失
计算机视觉与模式识别
2021-03-26 v1
摘要
深度神经网络在一系列分类任务上取得了显著性能，其中 softmax 交叉熵（CE）损失成为事实上的目标函数。CE 损失鼓励一个类的特征在真实类向量上比负类具有更高的投影分数。然而，这是一个相对约束，并未显式地迫使不同类特征良好分离。受 CE 损失中真值类表示为正交（独热编码向量）这一观察的启发，我们提出了一种称为“正交投影损失”（OPL）的新损失函数，它在特征空间中施加正交性。OPL 增强了 CE 损失的特性，并通过在 mini-batch 级别上施加正交性约束，直接在特征空间中实现类间分离与类内聚类。与 CE 的其他替代方案相比，OPL 具有独特优势，例如无额外可学习参数、不需要精细的负样本挖掘且对批大小不敏感。鉴于 OPL 的即插即用特性，我们在多样化任务上评估它，包括图像识别（CIFAR-100）、大规模分类（ImageNet）、域泛化（PACS）和少样本学习（miniImageNet、CIFAR-FS、tiered-ImageNet 和 Meta-dataset），并展示了其全面的有效性。此外，OPL 对对抗攻击和标签噪声等实际干扰具有更好的鲁棒性。代码见：https://github.com/kahnchana/opl。
引用
@article{arxiv.2103.14021,
title = {Orthogonal Projection Loss},
author = {Kanchana Ranasinghe and Muzammal Naseer and Munawar Hayat and Salman Khan and Fahad Shahbaz Khan},
journal= {arXiv preprint arXiv:2103.14021},
year = {2021}
}