关于多尺度神经网络在回归问题中谱偏置的降低
数值分析
2023-10-23 v2 数值分析
摘要
本文推导了谱域中两层多尺度深度神经网络（MscaleDNN）\cite{caixu2019,liu2020multi}训练误差演化的扩散方程模型，该网络旨在降低全连接深度神经网络在逼近振荡函数时的谱偏置。这些扩散模型由 MscaleDNN 误差方程的谱形式得到，推导采用神经正切核方法和梯度下降训练以及正弦激活函数，并假设学习率趋于零、网络宽度与定义域大小趋于无穷。所涉及的扩散系数在 MscaleDNN 中使用更多尺度时具有更大的支撑，因此所提出的频域扩散方程模型解释了 MscaleDNN 的谱偏置降低能力。两层 MscaleDNN 训练的扩散模型数值结果与实际梯度下降训练（网络宽度相当大）的误差演化相符，从而验证了扩散模型的有效性。同时，MscaleDNN 的数值结果显示误差在宽频率范围内衰减，并证实了使用 MscaleDNN 逼近宽频率范围函数的优势。
引用
@article{arxiv.2212.03416,
title = {On Spectral Bias Reduction of Multi-scale Neural Networks for Regression Problems},
author = {Bo Wang and Heng Yuan and Lizuo Liu and Wenzhong Zhang and Wei Cai},
journal= {arXiv preprint arXiv:2212.03416},
year = {2023}
}