类别级 Logit 扰动
机器学习
2022-09-27 v3 人工智能
摘要
特征、logit 与标签是样本通过深度神经网络时的三类主要数据。特征扰动与标签扰动近年来受到越来越多的关注，已被证明在各种深度学习方法中十分有用。例如，（对抗性）特征扰动可提升所学模型的鲁棒性甚至泛化能力。然而，明确探索 logit 向量扰动的研究十分有限。本文讨论了若干与类别级 logit 扰动相关的现有方法，建立了正/负数据增强与由 logit 扰动引起的损失变化之间的统一视角，并从理论层面分析了类别级 logit 扰动为何有效。据此，我们提出了新的方法，显式地学习对单标签与多标签分类任务中的 logit 进行扰动。在基准图像分类数据集及其长尾版本上的大量实验表明，我们的学习方法具有竞争力的性能。由于仅在 logit 上扰动，它可作为插件与任何现有分类算法融合。所有代码见 https://github.com/limengyang1992/lpl。
引用
@article{arxiv.2209.05668,
title = {Class-Level Logit Perturbation},
author = {Mengyang Li and Fengguang Su and Ou Wu and Ji Zhang},
journal= {arXiv preprint arXiv:2209.05668},
year = {2022}
}