局部控制网络（LCNs）：优化神经网络数据模式捕获的灵活性
机器学习
2025-04-28 v2 人工智能
摘要
多层感知器（MLP）的广泛应用依赖于固定的激活函数（如ReLU、Sigmoid、Tanh）作用于隐藏层中所有节点。在许多场景下效果良好，但这种统一性可能限制了网络捕获复杂数据模式的能力。我们认为，在每个节点上使用相同的激活函数是次优的，提出在每个节点上采用不同的激活函数以增加灵活性和适应性。为实现此目标，我们引入局部控制网络（Local Control Networks, LCNs），利用B样条函数实现每个节点的激活曲线各异。我们的数学分析展示了LCNs相对于传统MLPs的特性和优势。此外，我们证明，在某些场景下，Kolmogorov-Arnold Networks（KANs）等更复杂的架构并非必需，LCNs可以是更高效的替代方案。在各种基准和数据集上的经验实验验证了我们的理论发现。在计算机视觉任务中，LCNs相对于MLPs实现了边际提升，并约比KANs高出约5%，同时也比KANs更具计算效率。在基本机器学习任务中，LCNs相对于MLPs提升1%，相对于KANs提升0.6%。在符号公式表示任务中，LCNs与KANs表现相当，两者均优于MLPs。我们的发现表明，节点级别的激活函数多样性可导致性能和效率的提升。
引用
@article{arxiv.2501.14000,
title = {Local Control Networks (LCNs): Optimizing Flexibility in Neural Network Data Pattern Capture},
author = {Hy Nguyen and Duy Khoa Pham and Srikanth Thudumu and Hung Du and Rajesh Vasa and Kon Mouzakis},
journal= {arXiv preprint arXiv:2501.14000},
year = {2025}
}