用于深度神经网络回归的层内多级训练

回归中的一个常见挑战是：对于许多问题，高质量解所需的自由度也允许过拟合。正则化是一类试图限制可能解范围以抑制过拟合同时仍支持良好解的策略，不同正则化策略施加不同类型的限制。本文提出一种多级正则化策略，其构建并训练神经网络的层次结构，每一层均为前一层网络的加宽版本。我们从代数多重网格（AMG）领域——传统用于求解线性与非线性方程组——汲取直觉与技术，并具体将针对非线性方程组的全近似格式（FAS）适配于深度学习问题。通过V循环训练，促使神经网络建立对问题的层次化理解。我们称此方法为“层内多级”（multilevel-in-width），以区别于先前通过层次化改变网络深度的多级工作。所得方法是一个高度灵活的框架，可应用于多种层类型，我们以全连接层与卷积层予以演示。我们通过PDE回归问题实验表明，我们的多级训练方法是一种有效的正则化器，提升了所研究神经网络的泛化性能。