超越 ReLU：分岔、过平滑与拓扑先验
机器学习
2026-02-18 v1
摘要
图神经网络（GNN）通过迭代的基于网络的信息传递学习节点表示。虽然强大，但深层 GNN 面临过平滑问题，即节点特征收敛到均匀、非信息性的状态。我们从分岔理论视角重新构建此表征坍塌问题，将过平滑表征为收敛到稳定的“均匀固定点”。我们的核心贡献是理论发现，通过替换标准单调激活函数（如 ReLU）为一类函数，即可打破这种不希望的稳定性。运用 Lyapunov-Schmidt 约化，我们解析性地证明了这一替代会诱导分岔，使均匀状态失稳，并创建出一对新稳定、非均匀“模式”，这些模式可证明地抵抗过平滑。我们的理论预测这些新生模式振幅的精确、非平凡尺度律，我们在实验中对其进行了定量验证。最后，我们展示了理论的实际用途，通过推导出一种闭形式的、具分岔感知的初始化，并在真实基准实验中展示了其实用性。
引用
@article{arxiv.2602.15634,
title = {Beyond ReLU: Bifurcation, Oversmoothing, and Topological Priors},
author = {Erkan Turan and Gaspard Abel and Maysam Behmanesh and Emery Pierson and Maks Ovsjanikov},
journal= {arXiv preprint arXiv:2602.15634},
year = {2026}
}