ASNI：面向浅层与深层神经网络的自适应结构化噪声注入
机器学习
2019-09-24 v1 机器学习
摘要
Dropout 是一种神经网络训练中的正则化技术，其中单元激活以给定概率被独立地随机置零。在本工作中，我们提出了 dropout 及其他乘性噪声注入方案在浅层和深层神经网络上的推广，其中应用于不同单元的随机噪声不独立，而是遵循在训练期间固定或估计的联合分布。我们提供了关于此类自适应结构化噪声注入（ASNI）为何相关的理论见解，并从经验上证实它有助于提升简单前馈和卷积神经网络的准确率、解耦隐藏层表示，并导致更稀疏的表示。我们提出的方法是对经典 dropout 的直接修改，且不需要额外的计算开销。
引用
@article{arxiv.1909.09819,
title = {ASNI: Adaptive Structured Noise Injection for shallow and deep neural networks},
author = {Beyrem Khalfaoui and Joseph Boyd and Jean-Philippe Vert},
journal= {arXiv preprint arXiv:1909.09819},
year = {2019}
}
备注
All code concerning the real data experiments is available at \url{https://github.com/BeyremKh/ASNI}\\