MetaSymNet：一种具有自适应结构与激活函数的树状符号网络
机器学习
2024-12-20 v2 人工智能
摘要
数学公式是人类与自然沟通的媒介，封装了支配自然现象的运行规律。对这些规律进行简洁表述是科学研究的关键目标，也是人工智能（AI）的重要挑战。传统人工神经网络（MLP）擅长数据拟合，但常产生不可解释的黑箱结果，阻碍我们理解变量 x 与预测值 y 之间的关系。此外，MLP 中固定的网络结构常导致网络结构与参数的冗余。为解决这些问题，我们提出 MetaSymNet，一种动态实时调整结构（可扩展也可收缩）的新型神经网络。该自适应网络采用 PANGU 元函数作为激活函数，这是一种独特类型的函数，可在训练中演化为多种基本函数，以组合出满足特定需求的数学公式。随后我们将神经网络演化为简洁、可解释的数学表达式。为评估 MetaSymNet 的性能，我们将其与四种最先进的符号回归算法在包含 222 个公式的 10 余个公开数据集上进行比较。实验结果表明，无论是否存在噪声，我们的算法均持续优于其他算法。此外，我们就拟合能力与外推能力这两个机器学习算法的关键方面，将 MetaSymNet 与 MLP 和 SVM 进行比较。结果显示我们的算法在两方面均表现出色。最后，我们在网络结构复杂度上采用迭代剪枝将 MetaSymNet 与 MLP 比较。结果表明在相同拟合优度下，MetaSymNet 的网络结构复杂度明显低于 MLP。
引用
@article{arxiv.2311.07326,
title = {MetaSymNet: A Tree-like Symbol Network with Adaptive Architecture and Activation Functions},
author = {Yanjie Li and Weijun Li and Lina Yu and Min Wu and Jinyi Liu and Wenqiang Li and Meilan Hao and Shu Wei and Yusong Deng},
journal= {arXiv preprint arXiv:2311.07326},
year = {2024}
}
备注
This work has been accepted by AAAI2025