深度神经网络分类器中低维嵌入上的潜点坍缩
机器学习
2025-02-11 v5
摘要
潜表示的构型在决定深度神经网络分类器性能方面起着关键作用。特别地，潜空间中良好分离的类嵌入的出现已被证明可改善泛化与鲁棒性。本文中，我们提出一种方法，将属于同一类的潜表示坍缩为单点，从而在增强潜空间类可分性的同时强制网络中的 Lipschitz 连续性。我们证明这一被称为\textit{潜点坍缩}的现象，是通过在倒数第二层表示上施加强 惩罚实现的，并且是交叉熵损失函数所产生的推-拉张力的结果。此外，我们展示了将此压缩损失项应用于低维线性倒数第二层的潜表示的实际效用。所提方法易于实现，并在判别性特征嵌入上产生显著提升，同时对输入扰动的鲁棒性也有显著增益。
引用
@article{arxiv.2310.08224,
title = {Latent Point Collapse on a Low Dimensional Embedding in Deep Neural Network Classifiers},
author = {Luigi Sbailò and Luca Ghiringhelli},
journal= {arXiv preprint arXiv:2310.08224},
year = {2025}
}