深度增强：将 Dropout 作为自监督学习的增强方式
机器学习
2025-06-02 v5 计算与语言
计算机视觉与模式识别
摘要
尽管 dropout 在机器学习中无处不在，其作为数据增强的有效性仍待充分探索。我们解决两个关键问题：(i) dropout 何时作为增强策略有效？(ii) 在这些条件下 dropout 是否独特有效？为探索这些问题，我们提出 Deep Augmentation，一种与网络和模态无关的、将 dropout 或 PCA 变换应用于神经网络中特定层的方法。通过在 NLP、计算机视觉与图学习中的对比学习任务上大量实验，我们发现跨层均匀施加 dropout 并不能一致提升性能。相反，dropout 在较深层最有益，且可被替代增强（如 PCA）匹配。我们还表明 stop-gradient 操作对确保 dropout 有效作为增强至关重要，且从对比任务转向监督任务时性能趋势反转。我们的分析表明 Deep Augmentation 有助于缓解层间共适应——因缺乏标注数据，这是自监督学习中显著的问题。基于这些见解，我们概述了选择最优增强层的流程，并证明 Deep Augmentation 可超越传统输入级增强。这一简单而强大的方法可无缝集成到广泛架构与模态中，在性能与泛化上均带来显著提升。
引用
@article{arxiv.2303.14537,
title = {Deep Augmentation: Dropout as Augmentation for Self-Supervised Learning},
author = {Rickard Brüel-Gabrielsson and Tongzhou Wang and Manel Baradad and Justin Solomon},
journal= {arXiv preprint arXiv:2303.14537},
year = {2025}
}