一种新颖的神经计算范式：具有可学习神经元与自适应结构的 X-Net
人工智能
2024-07-15 v2 网络与互联网体系结构
摘要
多层感知机（MLP）已渗透到从生物信息学到金融分析等各个学科领域，其应用已成为当代科学研究工作中不可或缺的一部分。然而，MLP 存在明显缺点：1）激活函数类型单一且相对固定，导致网络的“表示能力”较差，常常需要用复杂网络解决简单问题；2）网络结构不具备自适应性，容易造成网络结构冗余或不足。在这项工作中，我们提出了一种新颖的神经网络范式 X-Net，有望取代 MLP。X-Net 可以在训练过程中基于导数信息动态地单独学习激活函数，以提高网络对特定任务的表示能力。同时，X-Net 能够在神经元层面精确调整网络结构，以适应不同复杂度的任务并降低计算成本。我们证明 X-Net 在表示能力方面优于 MLP。在回归和分类任务上，X-Net 能以远少于 MLP 的参数达到可比甚至更好的性能。具体而言，在参数数量方面，X-Net 平均仅为 MLP 的 3%，在某些任务下仅为 1.1%。我们还展示了 X-Net 在能源、环境和航空航天等不同学科数据上进行科学发现的能力，证明 X-Net 可以帮助科学家发现新的数学或物理定律。
引用
@article{arxiv.2401.01772,
title = {A Novel Paradigm for Neural Computation: X-Net with Learnable Neurons and Adaptable Structure},
author = {Yanjie Li and Weijun Li and Lina Yu and Min Wu and Jinyi Liu and Wenqiang Li and Meilan Hao and Shu Wei and Yusong Deng and Liping Zhang and Xiaoli Dong and Hong Qin and Xin Ning and Yugui Zhang and Baoli Lu and Jian Xu and Shuang Li},
journal= {arXiv preprint arXiv:2401.01772},
year = {2024}
}
备注
35 pages