Poly-MgNet：基于多重网格激发的 ResNet 中的多项式构建模块
机器学习
2025-03-14 v1 计算机视觉与模式识别
摘要
ResNet 与多重网格（Multigrid, MG）方法的结构类比—such as 常见构建模块如卷积和池化——早已被 He 等人于 2016 年指出。MG 方法在科学计算中用于求解大规模稀疏线性方程组所 arising from partial differential equations。MG 方法尤其依赖两个主要概念：平滑化与残差限制/粗化。借助这些类比，He 与 Xu 发展出了 MgNet 框架，将 MG 方案集成到 ResNet 的设计中。本文引入一种灵感来自 MG 理论中多项式平滑器的新型神经网络构建模块。从 MG 的角度来看，我们的多项式模块自然将 MgNet 框架扩展至 Poly-MgNet，同时减少 MgNet 中的权重数量。我们对多项式模块进行了全面研究，分析了初始系数的选择、多项式阶数、激活函数的位置以及 batch normalization 的放置。我们的结果表明，基于实与虚多项式根构建（二次）多项式构建模块可提升 Poly-MgNet 在准确率方面的能力。此外，我们的方法在模型准确率与权重数量之间实现了较佳的权衡，优于 ResNet 以及 MgNet 的特定配置。
引用
@article{arxiv.2503.10594,
title = {Poly-MgNet: Polynomial Building Blocks in Multigrid-Inspired ResNets},
author = {Antonia van Betteray and Matthias Rottmann and Karsten Kahl},
journal= {arXiv preprint arXiv:2503.10594},
year = {2025}
}