通过多层级深度学习消除深层神经网络的谱偏置

深层神经网络（DNN）存在谱偏置问题，即DNN通常倾向于学习函数的低频分量，难以捕捉其高频特征。本文旨在解决此问题。注意到，仅包含低频分量的函数可由浅层神经网络（SNN）良好表示，后者包含仅有少数层。通过观察低频函数的组合可有效逼近高频函数，我们提出通过组合多个SNN来学习包含高频分量的函数，其中每个SNN从给定数据中学习某些低频信息。我们通过利用多层级深度学习（MGDL）模型来实现上述思想，该模型近期被引入，按层级逐步训练DNN，当前层级仅从前一层级的残差中学习由前几层级训练的SNN作为特征的SNN。我们将MGDL应用于合成数据、流形数据、彩色图像和MNIST数据集，所有这些数据集都包含高频特征。我们的研究表明，MGDL在表示包含高频信息的函数方面表现出色。具体而言，各层级学习的神经网络能够有效捕捉某些低频信息，从而其与前几层级学习的SNN的组合能够有效表示高频特征。我们的实验结果强调了MGDL在解决DNNs固有谱偏置方面的有效性。通过利用MGDL，我们提供了一种克服DNNs谱偏置限制的方法，从而提高了深度学习模型在需要表示高频信息的任务中的性能和适用性。本研究确认，所提出的方法为解决DNNs的谱偏置提供了有前景的解决方案。