学习扰动隐藏表征以实现通用深度学习
机器学习
2026-05-29 v1
摘要
深度神经网络通过输入特征、隐藏激活、logits 和 loss 的级联过程进行数据处理。虽然输入、logits 和标签层面的扰动已被系统性研究，但中间隐藏激活——构成网络计算主体的部分——尚无统一的扰动分析。本文建立了隐藏激活扰动的统一框架，揭示 Dropout、Manifold Mixup、对抗特征扰动等方法均施加特定形式的激活扰动，但采用 class-agnostic 或随机策略。我们推测，扩张扰动（增加激活范数）充当正向增强，而压缩扰动（减少激活范数）充当负向增强；扰动层决定其效果是类似输入级增强（浅层）还是类似 logits 级操控（深层）。我们提出 Learning to Perturb Activations (LPA)，通过 PGD 学习 class-level 扰动，自适应扰动选定隐藏层的激活。我们进一步提供理论分析，将激活扰动与平坦极小值及扰动放大联系起来。在平衡分类、长尾分类和域泛化实验中，LPA 持续超越现有方法，并为 LPL 等 logits 扰动方法提供互补收益。
引用
@article{arxiv.2605.29525,
title = {Learning to Perturb Hidden Representations for Generalizable Deep Learning},
author = {Hua Li},
journal= {arXiv preprint arXiv:2605.29525},
year = {2026}
}