低数据环境下的 Kolmogorov-Arnold 网络：与多层感知器的比较研究

多层感知器（MLP）长期以来一直是深度学习的基石，以其建模复杂关系的能力而闻名。最近，Kolmogorov-Arnold 网络（KAN）作为一种引人注目的替代方案出现，它直接在网络边上使用高度灵活的可学习激活函数，这与 MLP 以神经元为中心的方法不同。然而，KAN 显著增加了可学习参数的数量，引发了人们对其在数据匮乏环境中有效性的担忧。本文从算法和实验角度对 MLP 和 KAN 进行了全面的比较研究，重点关注低数据环境。我们引入了一种为每个神经元设计具有独特参数化激活函数的 MLP 的有效技术，从而实现与 KAN 更均衡的比较。通过对模拟数据以及来自医学和工程领域的两个真实数据集的经验评估，我们探索了模型复杂度与准确率之间的权衡，并特别关注网络深度的作用。我们的研究结果表明，具有个性化激活函数的 MLP 仅以参数量的适度增加就实现了显著更高的预测准确率，尤其是在样本量限制在约一百个时。例如，在增材制造中的三分类问题中，MLP 达到了 0.91 的中位准确率，显著优于 KAN，后者在使用默认超参数时仅达到 0.53 的中位准确率。这些结果为神经网络中激活函数选择的影响提供了有价值的见解。