生成式万花筒网络

我们发现神经网络，特别是深度ReLU网络，表现出一种“过泛化”现象。也就是说，对于训练期间未见过的输入，其输出值被映射到学习过程中观察到的输出范围附近。换句话说，神经网络学习了一种多对一的映射，并且随着我们增加神经网络的层数或深度，这种效应更加显著。我们利用神经网络的这一特性设计了一种数据集万花筒，称为“生成式万花筒网络”。简而言之，如果我们学习一个模型将输入$x\in\mathbb{R}^D$映射到自身$f_\mathcal{N}(x)\rightarrow x$，所提出的“万花筒采样”过程从一个随机输入噪声$z\in\mathbb{R}^D$开始，并递归地应用$f_\mathcal{N}(\cdots f_\mathcal{N}(z)\cdots )$。经过一段预热期后，我们开始从输入分布中观察到样本，并且随着模型深度的增加，恢复的样本质量得到改善。范围：我们在其他深度学习架构（如CNN、Transformer和U-Net）中也不同程度地观察到了这种现象，目前正在进一步研究。