变分嵌套丢弃

嵌套丢弃（nested dropout）是丢弃操作的一种变体，能够在训练期间基于预定义的重要性对网络参数或特征进行排序。它已被探索用于：I. 构建嵌套网络：嵌套网络是一些神经网络，其架构可在测试时即时调整，例如基于计算约束。嵌套丢弃隐式地对网络参数进行排序，生成一组子网络，使得任意较小的子网络构成较大子网络的基础。II. 学习有序表示：应用于生成模型（例如自编码器）的潜在表示的嵌套丢弃对特征进行排序，强制对稠密表示在维度上施加显式顺序。然而，丢弃率在整个训练过程中作为超参数固定。对于嵌套网络，当网络参数被移除时，性能按照人工指定的轨迹而非从数据中学到的轨迹衰减。对于生成模型，特征的重要性被指定为常向量，限制了表示学习的灵活性。为解决该问题，我们关注嵌套丢弃的概率对应形式。我们提出一种变分嵌套丢弃（VND）操作，以低成本抽取多维有序掩码的样本，为嵌套丢弃的参数提供有用的梯度。基于该方法，我们设计了一个贝叶斯嵌套神经网络，学习参数分布的顺序知识。我们进一步在不同生成模型下利用 VND 学习有序潜在分布。在实验中，我们表明所提方法在分类任务中的准确率、校准和域外检测方面优于嵌套网络。它在数据生成任务上也优于相关的生成模型。