为何幂函数单位网络会失败以及如何改进：一种有效场论视角
机器学习
2026-02-10 v5 人工智能
摘要
幂函数单位 (Rectified Power Unit, RePU) 激活函数是矩形线性单元 (Rectified Linear Unit, ReLU) 的一种可微 generalizations，因其光滑性质在构建神经网络方面显示出前景。然而，深层RePU网络在训练过程中常常会出现vanishing或exploding值问题，导致其无论如何都不稳定，无论超参数初始化如何。借助有效场论的视角，我们识别了这些失败的根本原因，并提出了修改幂函数单位 (Modified Rectified Power Unit, MRePU) 激活函数。MRePU在保留RePU的优势（如可微性和通用逼近性质）的同时，解决了其局限性。理论分析表明，MRePU满足稳定训练所必需的临界条件，位于一个独特的普适类中。大量实验验证了MRePU的有效性，显示在多种任务（包括多项式回归、物理信息神经网络 (PINN) 和实际视觉任务）上的训练稳定性和性能显著提高。我们的发现凸显了MRePU作为构建深层神经网络的稳健替代方案的潜力。
引用
@article{arxiv.2408.02697,
title = {Why Rectified Power Unit Networks Fail and How to Improve It: An Effective Field Theory Perspective},
author = {Taeyoung Kim and Myungjoo Kang},
journal= {arXiv preprint arXiv:2408.02697},
year = {2026}
}
备注
41 pages, 19 figures