Dropout作为交互效应的正则化器

我们从交互的视角审视Dropout。该视角提供了一种对称性来解释Dropout：给定$N$个变量，存在${N \choose k}$个可能的$k$变量集合以形成交互（即$\mathcal{O}(N^k)$）；反之，一个$k$变量交互在以概率$p$进行Dropout时幸存的概率为$(1-p)^k$（随$k$衰减）。这些速率有效地相互抵消，因此Dropout对高阶交互起到正则化作用。我们从解析与经验上证明了该视角。将Dropout视为针对交互效应的正则化器这一视角具有若干实际意义：(1) 当我们需要对虚假高阶交互进行更强正则化时，应使用更高的Dropout率；(2) 在解释基于Dropout的解释与不确定性度量时应谨慎；(3) 以输入Dropout训练的网络是有偏估计量。我们还将其它正则化器与Dropout进行比较，发现难以获得针对高阶交互的相同选择压力。